Jmeter3.0-多维度的图形化HTML报告
本文转载于推酷：http://www.tuicool.com/articles/BNvuEzr
在JMeter3.0之前，官方只提供在工具的UI上对测试结果部分维度的图形化展示，这对我带来了两方面的困扰：
- 在实际使用中，在平台中集成JMeter后需要页面展示TPS曲线，平均响应时间曲线等图表时，需要我们手动操刀摆弄如Hightcharts/Echarts等前端图表库。
- 要查看历史的测试结果，需要启动JMeter的图形化界面，导入保存的CSV结果，过程繁琐，并且当结果集较大时，JMeter需要耗费相当多的时间在界面上展示图形化报告。
本文讨论的新特性为这两个问题带来了较好的解决办法：
- 新特性良好的实现了结果数据可视化，生成的报告是HTML页面形式，并且包含大多数实际测试中关心的度量维度的，可以便捷地嵌入到平台，从浏览器来查看每次测试运行的。
- 只要保留生成的HTML页面，后期要查看该次测试的结果，只需要在浏览器打开即可，方便快捷。
二.新特性简介
JMeter3.0提供一个用于生成 HTML页面格式图形化报告 的扩展模块。该模块支持通过两种方式生成多维度图形化测试报告：
- 在JMeter性能测试结束时，自动生成本次测试的HTML图形化报告
- 使用一个已有的结果文件(如CSV文件)来生成该次结果的HTML图形化报告
其默认提供的度量维度包括：
- APDEX(Application Performance Index)指数
- 聚合报告
- 类似于UI上的 Aggregate Report
- Errors报告
- 展示不同错误类型的数量以及百分比
- 响应时间变化曲线
- 展示平均响应时间随时间变化情况
- 类似于JMeter Plugins在UI上的 jp@gc - Response Times Over Time
- 数据吞吐量时间曲线
- 展示每秒数据吞吐量随时间变化的情况
- 类似于JMeter Plugins在UI上的 jp@gc - Bytes Throughput Over Time
- Latency time变化曲线
- 展示Latency time随时间变化的情况
- 类似于JMeter Plugins在UI上的 jp@gc - Response Latencies Over Time
- 每秒点击数曲线
- 类似于JMeter Plugins在UI上的 jp@gc - Hits per Second
- HTTP状态码时间分布曲线
- 展示响应状态码随时间的分布情况
- 类似于JMeter Plugins在UI上的 jp@gc - Response Codes per Second
- 事务吞吐量时间曲线(TPS)
- 展示每秒处理的事务数随时间变化情况
- 类似于JMeter Plugins在UI上的 jp@gc - Transactions per Second
- 平均响应时间与每秒请求数的关系图
- 展示平均响应时间与每秒请求数(可以理解为QPS)的关系
- Latency time与每秒请求数的关系图
- 展示Latency time与每秒请求数的关系
- 响应时间百分位图
- 响应时间的百分位分布图
- 活动线程数变化曲线
- 展示测试过程中活动线程数随时间变化情况
- 平均响应时间与线程数的关系图
- 展示平均响应时间与线程数的关系
- 类似于JMeter Plugins在UI上的 jp@gc - Response Times vs Threads
- 柱状响应时间分布图
- 展示落在各个平均响应时间区间的请求数情况
注1：Latency time没有翻译成中文，这里对其计算方式做注解：
Latency time = 接收到响应的第一个字节的时间点 - 请求开始发送的时间点
from just before sending the request to just after the first response has been received
响应时间(JMeter术语中的Elapsed time) = 接收完所有响应内容的时间点 - 请求开始发送的时间点
from just before sending the request to just after the last response has been received
注2：Apdex 标准从用户的角度出发，将对应用响应时间的表现，转为用户对于应用性能的可量化为范围为 0-1 的满意度评价。。
Apdex (Application Performance Index)is an open standard developed by an alliance of companies. It defines a standard method for reporting and comparing the performance of software applications in computing.
三.快速入门
1.确认基本配置
-
在jmeter.properties或者user.properties确认如下配置项：
jmeter.save.saveservice.bytes = true
jmeter.save.saveservice.label = true
jmeter.save.saveservice.latency = true
jmeter.save.saveservice.response_code = true
jmeter.save.saveservice.response_message = true
jmeter.save.saveservice.successful = true
jmeter.save.saveservice.thread_counts = true
jmeter.save.saveservice.thread_name = true
jmeter.save.saveservice.time = true
# the timestamp format must include the time and should include the date.
# For example the default, which is milliseconds since the epoch:
jmeter.save.saveservice.timestamp_format = ms
# Or the following would also be suitable
jmeter.save.saveservice.timestamp_format = yyyy/MM/dd HH:mm:ss -
如果希望在Errors报告中展示更详细数据，需要确保如下配置
jmeter.save.saveservice.assertion_results_failure_message = true- 如果使用了事务控制器(Transaction Controller)，确认 Generate parent sample 为未勾选状态
2.生成报告
a. 在压力测试结束时报告
- 基本命令格式：
jmeter -n -t <test JMX file> -l <test log file> -e -o <Path to output folder> - 样例：
jmeter -n -t F:\PerformanceTest\TestCase\script\getToken.jmx -l testLogFile -e -o ./output
b. 使用已有的压力测试CSV日志文件生成报告
- 基本命令格式：
jmeter -g <log file> -o <Path to output folder> - 样例：
jmeter -g D:\apache-jmeter-3.0\bin\testLogFile -o ./output
两个样例都会在\apache-jmeter-3.0\bin\output目录下产生如下文件(夹):
用浏览器打开index.html文件，即可查看各种图形化报告:
四.自定义配置
JMeter3.0在bin目录新增了 reportgenerator.properties 文件保存了所有关于图形化HTML报告生成模块的默认配置，要变更配置，建议不要直接编辑该文件，而是推荐在 user.properties中去配置和覆盖。
1.总体配置
总体配置都是以 jmeter.reportgenerator. 为前缀。如：jmeter.reportgenerator.overall_granularity=60000
-
overall_granularity：定义采样点粒度，默认为60000ms，通常在稳定性以外的测试中，我们可能需要定义更细的粒度，比如1000ms，我们可以在user.properties文件末尾添加如下配置：# Change this parameter if you want to change the granularity of over time graphs.
jmeter.reportgenerator.overall_granularity=6000 -
report_title:定义报告的标题，我们可能需要将标题定义为实际测试项名称 apdex_satisfied_threshold：定义Apdex评估中 满意 的阈值(单位ms)apdex_tolerated_threshold: 定义Apdex评估中 可容忍 的阈值Apdext = (Satisfied Count + Tolerating Count / 2) / Total Samples
另外，在 jmeter.properties 中，有关于集合报告中的三个百分位的默认值：
aggregate_rpt_pct1 : Defaults to 90
aggregate_rpt_pct2 : Defaults to 95
aggregate_rpt_pct3 : Defaults to 99
可以在 user.properties 中对其进行覆盖，如： aggregate_rpt_pct1 = 70 ，效果如下：
2.图表配置
每个图表配置都是以 jmeter.reportgenerator.graph.<图表名称>. 为前缀。
classname图表的实现类，如果有自己定制的实现，将该配置的值写为自定义实现类的类名title图标标题，比如要汉化的时候，在这里配置中文标题property.set_granularity设置图标的采样点粒度，不配置时默认使用总体配置中的粒度设置
3.输出配置
输出配置都以 jmeter.reportgenerator.exporter 为前缀。
property.output_dir配置默认的报告输出路径。在命令行可以用-o选项来设置特定的路径覆盖该配置。html.series_filter用于过滤展示内容。如在user.properties添加如下配置：jmeter.reportgenerator.exporter.html.series_filter=(^Login)(-success|-failure)?
则最后的报告只展示名为Login这个取样器的数据。该配置包含两部分，(-success|-failure)?是Transactions per second图表所依赖的配置。前面部分接受一个正则表达式用来过滤。
