JMeter分布式压测实战（2020年清明假期学习笔记）
简介：目前用的常用测试工具对比
1、loadrunner
性能稳定，压测结果及颗粒度大，可以自定义脚本进行压测，但是太过于重大，功能比较繁多。
2、Apache ab（单接口压测最方便）
模拟多线程并发请求，ab命令对发出负载的计算机要求很低，既不会占用很多CPU，也不会占用太多的内存，但却会目标服务器造成巨大的负载，类似于简单的DDOS攻击等。
3、webbench
webbench首先fork出多个子进程，每个子进程都循环做web访问测试。子进程把访问的结果通过pipe告诉父进程，父进程做最终的统计结果。
二、Jmeter基本介绍和使用场景
1、压测不同的协议和应用
1）Web-HTTP，HTTPS（Java，NodeJS，PHP，ASP.NET，...）
2）SOAP / REST Webservices
3）FTP
4）Database via JDBC
5）LDAP 轻量目录访问协议
6）Message-oriented middleware（MOM）via JMS //消息队列里面的协议
7）Mail-SMTP(S)，POP3(S) and IMAP(S) //邮件协议
8）TCP等等
2、使用场景及优点
1）功能测试
2）压力测试
3）分布式压力测试
4）纯Java开发
5）上手容易，高性能
6）提供测试数据分析
7）各种报表数据图形展示
三、本地快速安装Jmeter5.x
简介：GUI图形界面安装
1、需要安装JDK8+以上的版本。
2、官网地址：https://jmeter.apache.org/
3、快速下载：
Windows：https://mirror.bit.edu.cn/apache//jmeter/binaries/apache-jmeter-5.2.1.zip
Mac或Linux：https://mirror.bit.edu.cn/apache//jmeter/binaries/apache-jmeter-5.2.1.tgz
4、建议JDK，不建议单独安装JRE，因为压测需要HTTPS，里面的工具要从JDK获取，单据安装JRE没有此工具。
（官网原话：Although you can use a JRE, it is better to install a JDK as for recording of HTTPS, JMeter needs keytool utility from JDK.）
四、Jmeter目录文件讲解
简介：讲解jmeter解压文件里面的各个目录，文件等
1、目录
bin：核心可执行文件，包含配置
jmeter.bat：Windows启动文件
jmeter：Mac或者Linux启动文件
jmeter-server.bat：Windows分布式压测使用的启动文件
jmeter-server：Mac或者Linux分布式压测使用的启动文件
jmeter.properties：核心配置文件
extras：插件拓展的包
lib：核心的依赖包(ext：核心包 / junit：单元测试包)
五、Jmeter语言版本切换
简介：讲解怎么改变jmeter的GUI界面语言版本
1、控制台修改（暂时生效）
menu -> options -> choose language
2、配置文件修改（永久生效）
bin目录 -> jmeter.properties
默认：# language=en
改为：language = zh_CN
六、Jmeter基础功能组件介绍线程组和Sampler
简介：讲解Jmeter里面GUI菜单栏主要组件
1、添加 -> threads -> 线程组（控制总体并发）
线程数：虚拟用户数。一个虚拟用户占用一个进程或者线程。
准备时长（Ramp-Up Period（in seconds））：全部线程启动的时长，比如100个线程，20秒，则表示20秒内100个线程都要启动完成，每秒启动5个线程。
循环次数：每个线程发送的次数，假如值为5，100个线程，则会发送500次请求，可以勾选永远循环。
2、线程组 -> 添加 -> Sampler（采样器） -> Http （一个线程组下面可以增加几个Sampler）
名称：取样器
注释：对这个取样器的描述
Web服务器：
默认协议是：http
默认端口是：80
服务器名称或IP：请求的目标服务器名称或IP地址
路径：服务器URL
对POST使用multipart / from-data：当发送POST请求时，使用Use multipart / from-data方法发送，默认不选中。
3、查看测试结果
线程组 -> 添加 -> 监听器 -> 查看结果树
七、Jmeter断言的使用
简介：介绍什么是断言及基本使用
1、增加断言：线程组 -> 添加 -> 断言 -> 响应断言
apply to（应用范围）：
Main sample only：仅当前父级取样器进行断言，一般一个请求，如果发一个请求会触发多个，则就有sub-samples（比较少用）
要测试的响应字段：
响应文本：即响应的数据，比如json等文本
响应代码：http的响应状态码，比如200，302，404这些
响应信息：http响应代码对应的响应信息，例如：OK，Found
Response Header：响应头
模式匹配规则：
包括：包含在里面就成功
匹配：响应内容完全匹配，不区分大小写
equals：完全匹配，区分大小写
2、断言结果监听器：线程组 -> 添加 -> 监听器 -> 断言结果
里面的内容是sampler取样器的名称
断言失败，查看结果树任务结果颜色标红（通过结果树里面双击不通过的记录，可以查看到错误信息）
3、每个sampler下面可以添加单独的查看结果树，然后同时加多个断言，最外层可以加个结果树进行汇总。
八、 压测结果聚合报告分析
简介：讲解压测结果的聚合报告
1、新增聚合报告：线程组 -> 添加 -> 监听器 -> 聚合报告（Aggregate Report）
label：sampler名称，可以看成一个接口
samples：# 样本，一共发出去多少请求，例如10个用户，循环10次，则是100
average：平均值，平均响应时间
median：中位数
90% Line：90%的用户响应时间不会超过这个值
min：最小值，最小响应时间
max：最大值，最大响应时间
error%：异常%，错误的请求总数/请求总数
Throughput：吞吐量-默认情况下表示每秒完成的请求数（Request Per Second），可以类比为qps
KB/sec：每秒接收的数据量
九、Jmeter用户自定义变量实战
简介：什么是用户自定义变量，怎样使用
1、为什么使用：很多变量在全局中都有使用，或者测试数据更改，可以在一处定义，四处使用。比如服务器地址
1）线程组 -> 添加 -> Config Element（配置元件）-> User Define Variable（用户定义的变量）
2）引用方式${XXX}，在接口的变量中使用
3）原始查看结果树和非原生查看（基础按钮）
十、Jmeter实战之CSV可变参数压测实战
简介：实战操作jmeter读取CSV和TXT文本文件里面的参数进行压测
1、线程组 -> 添加 -> Config Element（配置元件）-> CSV data set config（CSV数据文件设置）
十一、Jmeter压测实战之JDBC Request压测Mysql讲解
简介：讲解jdbc压测mysql相关准备工作，jar包添加，配置讲解
1、线程组（Thread Group）-> 添加（add）-> 取样器（sampler）-> jdbc request
2、jar包添加 mysql-connector-java-8.0.19.jar
3、参数讲解：（sql结尾不要加";"）
1）variable name of pool declared in JDBC connection configuration（JDBC连接配置中声明的池的变量名称）
2）Query Type 查询类型
3）parameter values 参数值
4）parameter types 参数类型
5）variable names sql执行结果变量名
6）result variable names 所有结果当做一个对象存储
7）query timeouts 查询超时时间
8）handle results 处理结果集
4、JDBC Connection Configuration 配置
1）JDBC Request -> 添加（add）-> 配置元件（config element）-> JDBC Connection Configuration
核心配置
Max Number of connection：最大连接数
Max wait：最大等待时间
Auto Commit：是否自动提交事务
DataBase URL：数据库连接地址 jdbc:mysql://127.0.0.1:3306/db_test
JDBC Driver Class：数据库驱动，选择对应的mysql版本
Username：数据库用户名
Password：数据库密码
十二、Jmeter压测实战之JDBC Request压测Mysql，select语句
简介：使用jmeter压测mysql，select，insert语句
1、Debug Sampler使用（结果树中查看）
线程组（Thread Group）-> 添加（add）-> 取样器（sampler）-> 调试取样器（debug sampler）
2、参数讲解：（sql结尾不要加";"）
1）variable name of pool declared in JDBC connection configuration（JDBC连接配置中声明的池的变量名称）
2）Query Type 查询类型
3）parameter values 参数值
4）parameter types 参数类型
5）variable names sql执行结果变量名
6）result variable names 所有结果当做一个对象存储
7）query timeouts 查询超时时间
8）handle results 处理结果集
十三、分布式压测介绍
简介：讲解什么是分布式压测
1、普通压测：单台机器可以对目标机器产生的压力比较小，受限因素包括CPU，网络，IO等。
2、分布式压测：利用多台机器向目标机器产生压力，模拟几万用户并发访问。
十四、Jmeter分布式压测原理
简介：讲解jmeter分布式压测原理
1、总控机器的节点master，其他产生压力的机器叫“肉鸡” server
2、master会把压测脚本发送到server上面
3、执行的时候，server上只需要把jmeter-server打开就可以了，不用启动jmeter
4、结束后，server会把压测数据回传给master，然后master汇总输出报告
5、配置详情
十五、阿里云Linux服务器，JDK8下载和安装
简介：在阿里云服务器上安装JDK和配置环境变量
1、Linux下使用weget下载jdk8：
进到目录/usr/local/software
2、配置环境变量 /etc/profile
export JAVA_HOME=/usr/local/software/jdk1.8.0_161 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin export PATH=$PATH:${JAVA_PATH}
3、改完配置后 source /etc/profile 让配置立刻生效
十六、Jmeter非GUI界面 参数讲解
简介：在Linux环境非GUI界面的参数讲解
官方文档参考地址：https://jmeter.apache.org/usermanual/get-started.html
1、jmeter压测参数的讲解
-h 帮助
-n 非GUI模式
-t 指定要运行的 Jmeter 测试脚本文件
-l 记录结果的文件，每次运行之前，（要确保之前没有运行过，即xxx.jtl不存在，不然报错）
-r Jmeter.properties文件中指定的所有远程服务器
-e 在脚本运行结束后生成html报告
-o 用于存放html报告的目录（目录要为空，不然报错）
2、运行的命令
1）完整启动命令的案例：
jmeter -n -t linux_users_api_.jmx -l result.jtl -e -o /use/local/software/jmter/temp/resultReport
十七、项目实战之阿里云Linux服务器下非GUI执行Jmeter压测
简介：在阿里云服务器上以非GUI界面去执行JMX压测脚本
自定义的jmx目录：/usr/local/software/jmeter/temp
脚本启动命令组成：（在jmeter的bin目录下）jmeter -n -t 脚本名称 -l 记录结果的文件名称 -e -o 生成报告的路径
举个栗子：./jmeter -n -t /usr/local/software/jmeter/temp/users_aliyun_apiTest.jmx -l /usr/local/software/jmeter/temp/jtl/result.jtl -e -o /usr/local/software/jmeter/temp/resultReport/
1、测试运行一个jmx脚本：
[root@localhost bin]# ./jmeter -n -t /usr/local/software/jmeter/temp/users_aliyun_apiTest.jmx -l /usr/local/software/jmeter/temp/jtl/result.jtl Apr 06, 2020 12:39:27 AM java.util.prefs.FileSystemPreferences$1 run INFO: Created user preferences directory. Creating summariser <summary> Created the tree successfully using /usr/local/software/jmeter/temp/users_aliyun_apiTest.jmx Starting standalone test @ Mon Apr 06 00:39:27 PDT 2020 (1586158767950) Waiting for possible Shutdown/StopTestNow/HeapDump/ThreadDump message on port 4445 summary + 58 in 00:00:02 = 36.9/s Avg: 72 Min: 49 Max: 282 Err: 0 (0.00%) Active: 3 Started: 31 Finished: 28 summary + 22 in 00:00:01 = 39.6/s Avg: 58 Min: 52 Max: 68 Err: 0 (0.00%) Active: 0 Started: 40 Finished: 40 summary = 80 in 00:00:02 = 37.6/s Avg: 68 Min: 49 Max: 282 Err: 0 (0.00%) Tidying up ... @ Mon Apr 06 00:39:30 PDT 2020 (1586158770558) ... end of run
2、将生成的result.jtl拿到本地，通过：线程组 -> 添加 -> 监听器 -> 汇总报告（Summary Report）导入查看。
十八、Jmeter压测接口的性能优化
简介：讲解jmeter压测减少资源使用的一些建议，即让压测结果更加准确
1、使用非GUI模式：jmter -n -t test.jmx -l result.jtl
2、少使用Listener，如果使用-l参数，它们都可以被删除或者禁用
3、在加载测试期间不要使用“查看结果树”或“查看结果”表监听器，只能在脚本阶段使用它们来调试脚本
4、包含控制器在这里没有帮助，因为它将文件中的所有测试元素添加到测试计划中
5、不要使用功能模式，使用CSV输出而不是XML
6、只保存你需要的数据，尽可能少地去使用断言
7、如果测试需要大量数据，可以提前准备好测试数据放到数据文件中，以CSV Read方式读取
8、用内网压测，减少其他带宽影响压测结果
9、如果压测大流量，尽量用多几个节点以非GUI模式向服务器施压
十九、Jmeter压测生成多维度图形化HTML测试报告
简介：把jmeter压测结果转换成html
[root@localhost bin]# ./jmeter -n -t /usr/local/software/jmeter/temp/users_aliyun_apiTest.jmx -l /usr/local/software/jmeter/temp/jtl/result.jtl -e -o /usr/local/software/jmeter/temp/resultReport/ Creating summariser <summary> Created the tree successfully using /usr/local/software/jmeter/temp/users_aliyun_apiTest.jmx Starting standalone test @ Mon Apr 06 01:41:13 PDT 2020 (1586162473883) Waiting for possible Shutdown/StopTestNow/HeapDump/ThreadDump message on port 4445 summary = 20 in 00:00:02 = 10.1/s Avg: 73 Min: 50 Max: 301 Err: 0 (0.00%) Tidying up ... @ Mon Apr 06 01:41:16 PDT 2020 (1586162476463) ... end of run
在resultReport目录下就会有index.html的可视化压测报告，用浏览器打开即可查看。
二十、Jmeter图形化HTML压测报告Dashboard讲解
简介：讲解压测报告html里面Dashboard的核心指标
1、dashboard讲解
1）Test and Report informations
Source file：jtl文件名
Start time：压测开始时间
End time：压测结束时间
Filter for display：过滤器
Lable sampler：取样器名称
2）APDEX（Application Performance Index）
apdex：应用程序性能指标，范围在0~1之间，1表示达到所有用户均满意
T（Toleration threshold）：可接受阀值
F（Frustration threshold）：失败阀值
3）Request Summary
OK：成功率
KO：失败率
4）Statistics统计数据
label sampler取样器名称
samples：请求总数，并发数*循环次数
KO：失败次数
Errors%：失败率
Average：平均响应时间
Min：最小响应时间
Max：最大响应时间
90th pct：90%的用户响应时间不会超过这个值（关注这个就可以了）
95th pct：95%的用户响应时间不会超过这个值
99th pct：99%的用户响应时间不会超过这个值（存在极端值）
Throughtput：Request Per Second吞吐量 qps
received：每秒从服务器接收的数据量
send：每秒发送的数据量
二十一、Jmeter图形化HTML压测报告Charts报表讲解
简介：讲解压测报告 html里面的Charts的核心指标
1、Charts讲解
1）Over Time（随着时间的变化）
Response Times Over Time：响应时间变化趋势
Response Time Percentiles Over Time（successful response）：最大，最小，平均，用户响应时间分布
Active Threads Over Time：并发用户数趋势
Bytes Throughput Over Time：每秒接受和请求字节数变化，蓝色表示发送，黄色表示接受
Latencies Over Time：平均响应延时趋势
Connect Time Over Time：连接耗时趋势
2）Throughput
Hits Per Second（excluding embedded resources）：每秒点击次数
Codes Per Second（excluding embedded resources）：每秒状态码数量
Transactions Per Second：即TPS，每秒事务数
Response Time Vs Request：响应时间和请求数对比
Latency Vs Request：延迟时间和请求书对比
3）Response Times
Response Time Percentiles：响应时间百分比
Response Time Overview：响应时间概述
Time Vs Threads：活跃线程数和响应时间
Response Time Distribution：响应时间分布图
二十二、Jmeter5.x分布式压测准备工作
简介：讲解Linux服务器上jmeter进行分布式压测的相关准备工作
1、压测注意事项
The firewalls on the systems are turned off or correct ports are opened.
系统上的防火墙被关闭或正确的端口被打开。
all the clients are on the same subnet.
所有的客户端都在同一个子网上。
the server is in the same subnet，if 192.x.x.x or 10.x.x.x IP address are used. If the server doesn't use 192.xx or 10.xx IP address，there shouldn't be any problems.
如果使用192.x.x.x或10.x.x.x IP地址，则服务器位于同一子网中。如果服务器不使用192.xx或10.xx IP地址，则不应该有任何问题。
Make sure JMeter can access the server.
确保JMeter可以访问服务器。
Make sure you use the same version of JMeter and Java on all the systems. Mixing versions will not work correctly.
确保在所有系统上使用相同版本的JMeter和Java。混合版本将无法正常工作。
You hava setup SSL for RMI or disabled it.
您已为RMI设置SSL或将其禁用。
官方文档地址：https://jmeter.apache.org/usermanual/jmeter_distributed_testing_step_by_step.html
2、专业名称
Master：（司令）the system running JMeter GUI, which controls the test
Slave：（奴隶）the system running jmeter-server, which takes commands from the GUI and send requests to the target system(s)
Target ：（目标）the webserver we plan to stress test
远程拷贝（内网地址）：
scp -r /usr/local/software/jdk-8u161-linux-x64.tar.gz root@192.168.0.111:/usr/local/software
scp-r /usr/local/software/jmeter/apache-jmeter-5.2.1.tgz root@192.168.0.111:/usr/local/software/jmeter
启动：
./jmeter-server 或者 nohup ./jmeter-server &
检查启动是否成功：
ps -ef|grep jmeter-server
ps -aux|grep jmeter-server
3、常见安装问题
1、启动报JVM内存不足的问题
编辑sudo vi ./jmeter
搜索："${HEAP:="-Xms1g -Xmx1g -XX:MaxMetaspaceSize=256m"}"
改变初始堆内存和最大内存
2、端口被占用的问题
仅修改server_port即可，下面两个一样
server.rmi.localport=8899 表示slave server启动显示的端口
server_port=8899 表示master机器要远程连接的端口，即：remote_hosts=192.x.x.x:8899
3、确定在controller机器上安装JDK，JMeter版本一致，并配置环境变量：JAVA_HOME，JMETER-HOME等
4、master机器启动后会拷贝jmx文件到slave机器，所以不需要在每台slave机器上也上传一份jmx，只需要在master机器上上传一份jmx脚本即可。
如果使用CSV进行参数化，则需要把参数文件在每台slave机器上拷贝一份且路径需要设置成一样。
总样本数 = 线程数 * 循环次数 * 执行机器总数
5、连接失败原因排查
1）jmeter-server是否启动
2）是否联网
3）ping 服务器IP是否畅通
4）telnet 端口 192.168.x.x:8899
5）检查服务器的防火墙是否关闭
6）阿里云安全策略是否正常
6、“could not find ApacheJmeter_core.jar”
解决：在Agent机器安装jdk，并设置环境变
7、“Bad call to remote host”
解决：检查被控制机器上的jmeter-server有没有启动，或者remote_hosts的配置是否正确。
8、更多问题移步我的博客园：https://www.cnblogs.com/chenshengkai/
二十三、Jmeter5.x分布式压测实战
简介：jmeter分布式压测实战，压测接口
1、关注CPU和内存使用
本地非GUI分布式压测 -r
jmeter -n -t /usr/local/software/jmeter/temp/users_aliyun_apiTest.jmx -l /usr/local/software/jmeter/temp/jtl/result.jtl -e -o /usr/local/software/jmeter/temp/resultReport/
2、压测修改master信息（主机）
1）jmeter.properties 值是slave机器的ip+端口号，如果有多个，用逗号分隔。
remote_hosts=192.168.0.107:8899,192.168.0.112:8899
2）master主机
server.rmi.ssl.disabled=true（前面有说到，master机器需要禁用）
3、压测修改slave节点信息（各个从机）
1）修改slave机器中jmeter.properties的配置
remote_hosts=192.168.0.107（当前从机ip）
server_port=8899
server.rmi.ssl.disabled=true
参考架构：
