使用Jmeter聚合报告生成对比图表

背景

最近在帮别的项目组执行性能测试,使用的工具是Jmeter。接口录制和参数化前一个人已经做好了,我主要的工作就是执行脚本,撰写测试报告。事情并不复杂,可做起来却极为耗时。

首先,由于有6组账号,分别对应6个不同的BU,而每个BU又需要执行1、10、20、30四种压力模式。如果使用GUI模式跑,就需要执行24次,还需要每次自己改参数,实在是费心费力。

其次,使用Jmeter插件生成聚合结果后,要根据结果出一份报告,。在我之前做的同事,由于是第一轮测试,也就无从比较,只是从接口、页面、错误率三个维度写了一份报告。而我则需要根据本次和上次的结果,生成图表,以便直观地展示结果。刚开始做这件事时,我是根据需求,找到对应的接口和页面,分别挪到Excel里,利用Excel生成图表。可是既容易错,还容易瞎,实在是折磨人。

解决方案

1

为了解决第一个问题,我的思路是找到Jmeter测试脚本的配置文件,复制多份,批量改成不同的配置,再利用bat脚本每次执行多个。

先将原来的测试脚本Jmx文件复制多份,按环境分成不同的文件夹,再按线程数整理进去,如下图:

 

 

 

 

因为Jmx文件其实都是xml格式,里面存储了脚本的配置,于是就使用VS Code打开文件夹,进行批量替换,这样很快就能完成配置工作。

 

 

 

之后再写bat脚本,以命令行模式执行jmx脚本,并生成测试报告。

注意在批处理文件中执行多条命令时,如果期望上一条执行完毕再继续执行下一条(也就是顺序调用),需要使用call方法。大致如下:

 

 

call %userprofile%\Desktop\apache-jmeter-3.3\bin\jmeter.bat -n -t 'CP BU.jmx' -l test_report.csv -e -o cp_test_report
call %userprofile%\Desktop\apache-jmeter-3.3\bin\jmeter.bat -n -t 'FA BU.jmx' -l test_report.csv -e -o fa_test_report

%userprofile%是系统变量,代表用户目录,形如C:\Users\xxx。这样调用可以提高复用性,之后用到的电脑只需要将jmeter放在桌面,即可运行。

-n non-gui 以非GUI模式运行

-t test-file 要执行的脚本文件

-l logfile 记录结果的文件,之后可以用来生成聚合报告

-o output html报告保存的路径

 

 这样每次执行执行每种线程数的批处理文件,就可以自动执行并生成报表了。

其实还可以对生成报告的路径,再做参数化配置,按照一定规则整合在一起。而且还可以将多线程的bat文件,再一起执行,这样就更省事。这些都是可优化的地方

2

对比报告这部分就要麻烦些了。初步的思路是从新旧报告宏读取数据,再使用生成图表的库生成对比图。有了对比图,要说的话就会少很多了,毕竟一图胜千言嘛。

之前同事其实是直接从Jmeter中粘贴出来的报告,与脚本生成的html报告还有不一样的地方。况且,html文件不好读取数据,很难与excel中的数据对比。

最省脑子的方法自然是我按照原来的方式重新跑一遍,一一把数据粘贴出来,这样结果的格式就一样了,可是复用性太差,就不考虑了。之后想用笨方法,利用插件从打开的html报告中读出表格。试了一圈,Chrome的插件要么只能用于http开头的网页,要么就是不起作用。又试了下UI Path(RPA工具,最近跟过一些教程),提取是成功了,可是好像和页面上的行数不一致,大概是某些元素的没有被识别为表格元素。无奈之下,只能想想能不能利用现有的报告生成类似之前版本的报告。有查到用jemter命令将jtl(jmeter的测试结果)转换为聚合报告,可是脚本无法执行,说是缺插件,奈何jmeter上装插件总是失败,也没办法。只得自己在jemter界面上试试,在聚合报告插件中导入之前生成的csv文件。这下成功了,也稍微理解了这些报告的作用。这些插件其实就是将日志文件重新计算整理,展示出最关注的几点。

 

这样就保证数据格式一致了。接下来就是考虑读取数据了。我最先想到的是用pandas中的Dataframe格式存储数据。

写个读取的方法:

def read_reports_csv(folder):
    cp_df = pd.read_csv(os.path.join(folder, 'cp.csv'))
    mc_df = pd.read_csv(os.path.join(folder, 'mc.csv'))
    mcp113_df = pd.read_csv(os.path.join(folder, 'mcp113.csv'))
    mcproject_df = pd.read_csv(os.path.join(folder, 'mcproject.csv'))
    pa_df = pd.read_csv(os.path.join(folder, 'pa.csv'))
    fa_df = pd.read_csv(os.path.join(folder, 'fa.csv'))
    return cp_df, mc_df, mcp113_df, mcproject_df, pa_df, fa_df

至于生成图表,我想到的是pyecharts。

绘制图表的示例如下:

from pyecharts.charts import Bar
from pyecharts import options as opts


bar = (
Bar({"width": "800px", "height": "750px", }) # 初始化图表宽和高
.add_xaxis(list(last_label)) # x轴的数
.add_yaxis('Response Time Average This Time',list(this_average)) # 增加y轴,本次结果
.add_yaxis('Response Time Average Last TIme',list(last_average)) # 增加y轴,上次结果
.set_global_opts( # 设置全局设置
    title_opts=opts.TitleOpts(title='接口平均相应时间对比图'), # 设置标题
    xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=15)), # 设置x周,这里是将文字倾斜,便于显示较长的文字
    legend_opts=opts.LegendOpts(is_show=True, pos_right=10) # 设置图例
)
)

生成图表这块,在网上查了很久,主要是参数配置不太理解。最后都是在官方文档中找到了最后答案。不得不说,还是官方文档靠谱,百度里搜索出来的结果有时能解燃眉之急,有时却是东拼西凑,质量不高。还是多用Google吧。不过pyechart本身是源自百度的库,估计国外用的人不多,资料大概也不多。

接下来是就往图表里塞数据了,这里也是问题最多的地方,主要有以下几点:

1.前后执行的接口并不是完全一致,没办法直接通过Label标签排序,将要比较的数据对齐。

2.有些接口请求的参数是动态变化的,没办法将接口名写死。

可见,数据清理将是重头,会决定之后生成的图表是否正确。我的解决思路是,将要比较的接口和页面分别参数化,再拿着要比较的数据,取其Label字段,分别在新旧数据中搜索,生成新旧待比较的数据集,再将数据排列对齐,保证顺序一致。Dataframe支持的操作其实已经很多了,就我目前了解的,没有找到现成方案,就自己写了些小方法,实现这些目标。具体代码如下:

def df_contains(df, partial_labels):
    '''
    这一步是为了找出要对比的数据
    遍历列表,在Dataframe中匹配,凡是包含当前字符串的,都拿出来
    '''
    result_df = None
    for label in partial_labels:
        x = df[df['Label'].str.contains(label)]
        if result_df is None:
            result_df = x
        else:
            if not x.empty:
                result_df = result_df.append(x, ignore_index=True)
    return result_df.drop_duplicates(subset=['Label', 'Average','Median'], keep='first')
def replace_digits_in_df(df, label):
    '''
    这一步是为了取出label中的数字
    Jmeter录制的脚本中,每次请求前面都会加上序号,影响排序,需要统一去掉
    当然也许Jmeter中本身就可以设置,只是我不知道
    '''
    for row in df.iterrows():
        _ = row[1].Label
        df.loc[row[0], label] = re.sub('\d+', '', _)
    return df
def draw_api(last_df, this_df, column):
    '''
    last_df: 上一次结果,pd.Dataframe
    this_df: 本次结果,pd.Dataframe
    return: 柱状对比图,可在notebook中绘制,也可直接导出html
    '''
    last_temp = replace_digits_in_df(last_df,'Label')
    last = df_contains(last_temp, api_labels).sort_values(by=['Label'])
    
    this_temp = replace_digits_in_df(this_df,'Label')
    this = df_contains(this_df,api_labels).sort_values(by=['Label'])
   
    print(this.Label)
    print('--------')
    print(last.Label)

    # 下面都是为了取出新旧待比较数据集中的交集,避免数据错位
    this_del_index = this.append(last, sort=False).drop_duplicates(subset=['Label'], keep=False).index
    this = this.drop(this_del_index)
    
    last_del_index = last.append(this, sort=False).drop_duplicates(subset=['Label'], keep=False).index
    last = last.drop(last_del_index)
    

    
    this_average = this[column]
    this_label = this.Label
    last_average = last[column]
    last_label = last.Label
    

    bar = (
    Bar({"width": "800px", "height": "750px", })
    .add_xaxis(list(last_label))
    .add_yaxis('Response Time Average This Time',list(this_average))
    .add_yaxis('Response Time Average Last TIme',list(last_average))
    .set_global_opts(
        title_opts=opts.TitleOpts(title='接口平均相应时间对比图'),
        xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=15)),
        legend_opts=opts.LegendOpts(is_show=True, pos_right=10)
    )
    )
    return bar

当然,这些方法也是前前后后尝试了很多次,慢慢写出来的规则。经过对比,执行的两轮中,没有数据错位的情况。其实这部分也是最费时间的。

另外,在jupyter notebook中可以实时查看生成的图表,很是方便,推荐使用。只需要对最后生成的图表对象,调用render_notebook()方法即可。最后生成的对比图如下:

 

 

 

代码地址:

https://github.com/MRFF/Learning-Python/blob/master/compare_reports.py

参考链接:

https://pandas.pydata.org/pandas-docs/stable/

https://pyecharts.org/

posted @ 2019-10-26 12:09  F君君  阅读(3635)  评论(0编辑  收藏  举报