nGrinder 参数使用
背景:
性能测试中为了更加接近真实模拟现实应用,对于提交的信息每次都需要提交不同的数据,或使用不同的值,最为典型的就是登录时的账号。
性能测试工具需要提供动态参数化功能,如商业化的LoadRunner就提供了非常强大的参数化支持,可支持各种参数取值方式,循环取值,或随机取值
而且还提供了参数模拟测试的功能,可以说非常完善
另外目前常用的性能测试工具Jmeter也提供了参数化的支持,如提供了"CSV Data Set Config"组件,可设置取值出的变量和取值结束后是否循环等
在nGrinder中怎么设置参数呢,它并没有提供现成的参数化工具,你无法直观的设置参数取值方法,都只能在脚本中处理
在开始之前我们需要更深刻得去理解测试场景中进程,线程等的概念
线程,进程,测试次数:
在测试场景设置中,我们先简单假设不根据时间测试,只根据次数来测试,那么在测试场景中,需要设置的参数就包括了
进程数,线程数,测试数
虚拟用户数=进程数*线程数
测试总数=虚拟用户数*测试数
就是说,如果进程数设置为5,线程数设置为2,那么虚拟用户数为10
如测试数设为3,那么一共运行的测试总次数为10*3=30
再回想一下,之前Groovy脚本中的结构,BeforeThread,或者AfterThread,在帮助中的这幅图,可以更清楚的说明整个过程,在图中
每个进程下有若干的线程,每个线程,执行若干次测试
Groovy脚本获取相关的值:
在Groovy中,通过提供的方法可获取包括当前的进程号,当前的线程号,总的进程数,总的线程数,当前的测试数,总测试数等信息
如测试进程数设置为5,测试线程数设置为2,测试数为3
在Groovy脚本中
1 processnumber=grinder.processNumber //获取当前的进程号,应该会相应返回0,1,2,3,4
2 totalprocess=grinder.getProperties().getInt("grinder.processes", 1) //获取测试的进程总数,返回5
3 threadnumber=grinder.threadNumber //获取当前的线程号,应该会相应返回0,1
4 totalthread=grinder.getProperties().getInt("grinder.threads", 1) //获取测试的线程总数,应该返回2
5 run=grinder.runNumber;//获取当前的测试号,应该相应返回1,2,3
6 totalrun=grinder.getProperties().getInt("grinder.runs", 1); //返回测试的总数,如3
因此现在在每个测试中,我们都可以明确获取测试的进程,线程和测试数的相关信息
当我们需要做参数化的时候,就可以根据这些信息来进行计算
nGrinder中有线程,有进程,还有测试数的概念,所以计算参数的时候,其实比LoadRunner或Jmeter更复杂,Jmeter中只有线程的概念。
当我们试图要弄明白里面的这些概念时,要慢慢来,先尝试着把设置弄简单点,然后再逐步逐步设置的复杂,才更容易理解
下面我们假设几种场景来说明如何取值,假设把一份账号存放在资源中,我们要取的参数就是这个账号,可能需要循环取,可能需要不重复的取
脚本参数_循环取数,单进程,账号资源冗余:
设置的场景如下:
这个场景中,我们简单得把进程设置为1,这样就只需要考虑多线程,然后测试次数设置为5,但线程数量小于资源账号数
假设资源中账号为QAARKTESR_0001,QAARKTESR_0002.。。。QAARKTESR_0010
我们预期的取值应该是:
在Groovy中,在一开始先就把文件读取过来,然后转换为字符数组
def array = new File('./resources/accountlist.txt') as String[]
那在每次测试的时候,只要使用当前的线程号,0,1,2就可以取得账号
为了简单说明,在Groovy中,打印当前的线程,当前的测试次数,和取得的账号
grinder.logger.info("thread number, run, account {},{},{}",grinder.threadNumber,grinder.runNumber,array[grinder.threadNumber]);
测试执行之后,查看日志输出
检查日志,可以看到输出符合我们的预期,线程从0到2,执行次数从0到4,取了三个账号,每个执行了5次
脚本参数_循环取数,但进程,账号资源缺乏
还是刚才的场景,只是我们让线程数大于资源数量
此时账号只有了三个,QAARKTESR_0001,QAARKTESR_0002,QAARKTESR_0003
这样的时候,我们预期的参数取值应该是这样,其中,账号循环取值
仍然是把账号读取到数组中,我们仍然是通过线程的号去取数组中的账号,但因为数组长度要小于线程数,所以此时需要用取余的操作
int len=array.size(); //先取数组的长度,此时应该返回3
int arrayindex=grinder.threadNumber%len; //每次循环的账号应该是等于线程数%长度
grinder.logger.info("thread number, run, account {},{},{}",grinder.threadNumber,grinder.runNumber,array[arrayindex]);
测试场景设置
查看测试日志:
可以看到线程3,此时循环取得的账号是账号1 thread number, run, account 3,0,QAARKTESR_0001
线程4 ,此时循环取的账号是账号2 ,thread number, run, account 4,0,QAARKTESR_0002
脚本参数_循环取数,多进程,账号资源冗余
刚才在1,2两种场景中,我们都把进程设置为1,这样我们就可以只考虑线程,但如果我们把进程也添加进来,那么如何循环取参数呢?
一旦把进程考虑进来,就要比之前的要复制多了,我们还是先看比较简单的情况
此时我们假设,账号的数要大于虚拟用户的数
账号我们仍然是QAARKTESR_0001一直到QAARKTESR_0010
场景设置如下:
那么我们预期的参数取值,应该是这样的
那么这个时候,我们要取的账号就需要进行一下简单的计算
序号=线程总数*当前的进程号+当前的线程号
注意,所有的进程,线程,测试号都是从0开始
如第一个进程,进程号就是0 ,线程总数是3
那么每个线程中,计算的方法,就是0*3+0,1,2
int threadcount=grinder.getProperties().getInt("grinder.threads", 1); //取线程总数,因为是3
int arrayindex=grinder.processNumber*threadcount+grinder.threadNumber;
grinder.logger.info("thread number, run, account {},{},{}",grinder.threadNumber,grinder.runNumber,array[arrayindex]);
场景设置:
运行之后查看日志,可以发现因为收到日志的限制,直接可以查看的只是一个进程的日志,另外一个进程的日志没办法查看到
本身日志显示或查看的限制,所以只能看到线程1,2,3各自取了账号QAARKTESR_0001,QAARKTESR_0002,QAARKTESR_0003
思考:
如果本身是多进程,多线程,那么如果账号数量还小于总的线程数,那么如何计算呢
其实公式和刚才的公式是一样的,只是在最后取余一下账号总数
即序号=( 进程号*线程总数+线程号)%账号总数
脚本参数_保证参数唯一性:
有时候我们需要在循环取参数的时候保证每个参数都是唯一取一次,比如注册账号,第二重复注册可能就已经是失败了
那么这时,我们需要每次测试的时候都需取唯一的数据
我们还是先设置进程数量为1,此时仍然只需要考虑线程数
那么这个时候,其实测试次数其实是9,而我们准备的账号总数是10,所以是充分的,准备正好的9个账号也是可以的,应该不会影响最后的取值
按照这样的设置,我们预期的结果应该是这样的
那么如何计算得出这样的参数呢
取账号序号=(当前线程号*循环测试总数)+当前的测试数序号
如当前线程号是1,循环测试总数固定是3 ,当前测试序号是1
那么应该取的序号是 1*3+1=4
groovy中的脚本应该
int testcount=grinder.getProperties().getInt("grinder.runs", 1); //测试总数,应该为3
int arrayindex=(grinder.threadNumber*testcount)+grinder.runNumber;// 取在数组中的序号
grinder.logger.info("thread number, run, account {},{},{}",grinder.threadNumber,grinder.runNumber,array[arrayindex]);
实际设置场景
运行,然后查看日志,可以看到实际循环了9个账号,和我们的预期是一样的
这个方式其实相当于LoanRunner中参数设置中取值方式为Unique的方式,但通过这种方式计算的时候,因为本身是要保证数据不重复,所以测试循环次数,还有数据要自己计算好,日常工作中常常遇到的是不重复的循环注册账号的场景
但这个场景中,我们还是简单的把进程数设置为了1,只考虑多线程
如果循环取数,同样是多线程的时候,怎么计算出这个序号呢
其实思路是一样的,只是公式看上去要复杂一点点
序号=(进程数*线程总数*测试总数)+(线程数*测试总数)+当前的测试序号
只要明白了nGrinder中的进程,线程,循环测试的概念,并且我们本身都是可以从方法中取得这些数据,所以不论多进程,多线程,还是单进程,单线程都是一样的,都是可以计算出来的
参考资料:
1 http://debugtalk.com/post/head-first-locust-advanced-script/