Loadrunner原理及基准测试

性能测试基本概念

1、并发和在线的区别：并发的压力是一个瞬时压力，一般针对同一类型的业务。在线的压力是一段时间内的压力情况。

2、20用户并发的压力相当于200用户在线的压力。（1:10的比例）

写测试计划时，可以参考，比如2000用户在线，一般是200个用户并发。（并发登录、并发查询、并发删除等）

 

3、请求响应时间=客户端时间+网络时间+服务器时间

 

4、可以通过内网测试规避掉网络的问题，客户端一般不会成为性能的瓶颈，所以大部分情况下，如果请求响应时间长，性能瓶颈出现在服务器端。

 

建议：Web服务器和数据库服务器最好分开部署，可以分别监控

 

事务响应时间：前提是在录制脚本时，插入事务点

点击率：每秒钟用户向Web服务器提交的Http请求数。

 

5、点击率：不是指鼠标点击的次数，比如：点击一个按钮，服务器返回一个页面，

页面中包括了3个图片，则当前发起的点击数：

 1+3 = 4个Http请求。

 

 *.html  带有<img src="" />  每个图片都是一个资源

     都会重新发请求

 

吞吐量：Throuthput 是总量，是累计时间的全部数据量

吞吐率：在单位时间内的吞吐量

          吞吐量/测试时间  每秒

TPS: Transaction Per Second   每秒事务数

 

6、请求和响应：客户端向服务器发起请求（Request），服务器向客户端返回应答（响应 Response）。

 

7、资源利用率：一般指系统中CPU、内存、磁盘、网络等主要资源的使用情况。（了解，有难度）

 

案例：测试登录模块在8个用户的情况下系统的性能情况

要求：用户数：8人   VU

      用户加载方式：每2秒加载1个VU

      运行时间：所有用户运行完脚本

      登录用户名：jojo

      密码：bean

 

操作：

 打开Controller ->  默认手工场景模式 ->

   将Use the Percentage Mode to... 去掉打钩

   目的：用户数不使用百分比模式

 -> Browse按钮 选择脚本 login -> OK

  提示：如果脚本选错了，可以在后续主界面中修改

 -> 设置8个VU:  Run Mode: 选择Basic schedule

        将Quantity 改为 8

 -> 每2秒钟加载一个VU:  左下角窗口 Global Schedule

 -> Start vusers:  Start all Vusers simultaneously

            默认是 同时加载8个虚拟用户，需要更改

    双击Start vusers -> Edit Action

 -> 选择第2个单选钮，改为 1 Vusers every 00:00:02

                                           (HH:MM:SS)

 -> OK

 -> Schedule Graphics   计划预览图

   横坐标：Time 测试时间    纵坐标：Vusers 虚拟用户个数

   每隔2秒钟加载一个虚拟用户

   虚线表示 不确定

 -> 设置运行时间: -> Duration中

   Run until completion 运行直到结束 （脚本结束）  选择

   Run for __ days and ___ (HH:MM:SS)  固定时间多久

   Run indefinitely  不限定  无限制运行，测试者点击结束才结束

 -> 从Design 切换 到Run

       设计场景      运行场景

   正常情况，还需要设置Windows Resources  监控的系统资源

   （暂时不配置）

 -> 设置好场景，可以运行场景

 -> Start Scenario 按钮

 

点击Vusers按钮，进一步查看VU运行状态：

  Done. Passed 1 iteration(s) attemped: 1successed.

  结束      经过 1次迭代尝试1次成功了

 

 观察场景运行结果图：

   Running Vusers  正在运行的虚拟用户

   Hit per Second  点击率

   Throughput      吞吐量

 

点击正上方，右边倒数第3个图标按钮：

  查看 Hp LoadRunner Analysis 结果分析报告

   Reports  报告

   Graphs  图片

       Running Vusers     虚拟用户运行情况

       Hit per Second     点击率

       Throughput          吞吐量

       Transaction Summary   事务概要

       Average Transaction Response Time  平均事务响应时间

 

二、性能测试策略

1、基准测试：就是单用户测试  （今天的重点）

注意：还是需要使用控制台，运行场景，自动搜集数据，通过Analysis进行结果分析。

 

2、递增测试：每隔一定的时间(1s,5s,10s)逐步加载虚拟用户，逐步加压。

用途：登录测试时，可以递增测试

 

3、并发测试：多用户并发执行某一操作（同一时刻，LR精确到毫秒级别）。

注意：并发测试是一种严格的测试，主要考察系统对瞬时较大压力的承受能力。

 

4、综合场景测试：号称“能够最真实的模拟 实际生产环境”。

 

5、综合场景的几个要素：多用户、多个脚本（至少3个）、在线执行一段时间（1个小时、50分钟等）

注意：一般不需要设置并发点。 

      多用户一起运行，一定会有并发。

 

6、综合场景测试过程中，所有用户 循环 执行相应的操作。

 

7、比如：100用户在线综合场景

 100用户 共同对被测系统执行操作，其中30用户执行浏览首页操作，50用户执行查询订单操作，20用户执行提交订单操作。

 （要真实模拟人数比例）

问题：为什么不模拟大量的登录操作？

   因为用户不可能一直在登录，模拟真实情况。

以上操作，用户在循环执行。

 

8、响应时间：业内一般有“358原则”，系统响应时间在3秒以内，则用户能够接受；响应时间在5秒以内，用户能够忍受；响应时间超过8秒，用户不能忍受。

比如：一般需求指标，不超过3秒

 

9、疲劳强度测试：在一定的强度（压力）下，对系统进行长时间的性能测试，一般为7*24小时、或24小时、12小时等。

比如：银行系统，7*24*365 全天候不间断运行

 

10、考察疲劳强度测试时，要考察其平均响应时间，以及各台服务器的各项资源情况。

比如：集群  负载均衡、降低成本

 

以上是比较常见的测试类型，经常出现在测试计划中。

 

11、内存泄露检查：通过正常的性能测试，如果被测系统的内存曲线走势不正常，则关注其相应的各项重要的内存指标，通过对应走势来确定是否发生内存泄露。

 

12、数据容量测试：使用大容量的数据添加到数据库中，观察被测系统是否能够正常运行。

比如：向数据库中添加200G的数据量，再进行测试。甚至几个T

      大数据 Big Data  一般是T级、P级的数据量

 1024Byte = 1KB

 1024K = 1M

 1024M = 1G

 1024G = 1T

 1024T = 1P

 E  Z  Y

 

三、基准测试：单用户测试

1、测试脚本要加检查点。原因：LR报告中的验证只是针对网络层面上，服务器收到客户端发送的数据包，之后将应答包发回给客户端，但是LR不会验证应答包中数据是否正确。

 

案例1：对下订单操作进行基准测试。先录制脚本，插入检查点。

 先打开AUT，熟悉整个业务流程；

 打开VuGen -> 新建 输入URL -> 先录制登录

 -> vuser_init -> 输入jojo和bean -> 开始事务 login

 -> 点击Login  ->  欢迎页面：

  添加检查点：

  选中“Welcome, jojo”  点击Insert text check 插入文本检查点

 -> 结束事务login

 -> Action模式 -> 点击Flights

 -> 选择城市：从Denver 到 London

 -> Continue -> Continue

 -> 开始事务buy  ->  Continue  -> 订单结果页面

  添加检查点：

  选中“Denver for London”  插入文本检查点

 -> 结束事务buy

 -> vuser_end模式 -> Sign Off -> 关闭浏览器 -> Stop

脚本保存：day02\buy  再回放

 

 

web_reg_find("Text=Welcome, <b>jojo</b>,",

                LAST);

web_reg_find("Text=Denver  for London",

                LAST);

  检查点函数：web_reg_find()     web_或lr_开头

  reg字样的函数：注册性函数

 

web_submit_form()  提交表单的请求

 

2、对于B/S系统，LR脚本中的LR函数都是以lr_或web_开头。

（另外，还有C语言函数 strcmp）

 

3、web_reg_find函数，带有reg字样的函数称为：注册性函数

该类函数的特殊：必须写在相应请求之前。

 

4、加过检查点的脚本如果运行（回放）正确，则说明该脚本正确。

（学会调试脚本）

 

需求：循环订3张票

 VuGen中的Run-time Settings按钮 （运行时设置）

   Run Logic 运行逻辑

     Iteration Count 迭代次数  默认1  改为3

注意：循环的只是Action. 次数登录仅一次

       init和end脚本仅执行一次。

 

四、注意：

1、控制台中和VuGen中设置Run-time Settings当前区别和联系：

1）如果从控制台直接打开脚本，则脚本中Run-time Settings设置会自动显示在控制台的Run-time Settings中。（带过来）

2）如果控制台和脚本中同时设置了Run-time Settings，并且值不同，控制台的优先级高。

 

2、Pacing值：每次迭代之间的时间间隔。

  迭代：脚本Action从第一行到最后一行。迭代一次

  Pacing值越大，对AUT的压力越小。

 

3、Think time: 脚本中步骤之间的时间间隔。

                （请求之间的间隔）

 

案例：针对buy脚本，进行基准测试 （方法1：单用户循环5次）

1）调试好脚本（在VuGen中运行成功）

2）打开控制台，加载buy脚本

  首先设置人数： Run Mode  单选Basic schedule模式

              Quantity改为1   单用户模式

3）打开控制台Run-time Settings设置

  Run Logic 迭代次数 5  （优先使用）

4）Pacing值 -- Start new Iteration    建议设置随机2~3秒

   As soon as the previous interation ends 只要前一次迭代结束

   关注第3项：

   At fixed intervals, every 60.000 sec

       random          every  2.000  to  3.000 sec

 

    fixed: 固定的    intervals 间隔

    random: 随机的

5）Think time:

    Ignore think time  忽略思考时间    选择 为了简单化

    Replay think time 具体设置思考时间策略

 -> 点击OK

继续其它设置：

 Start Vusers: Start all Vusers simulaneously 

                就一个VU 默认

 Duration: Run until completion  运行直到结束  默认

 -> 切换到Run

开始运行场景： Start Scenario

 

归纳基准测试：

方法1：单用户循环5次

1）调试好脚本（加检查点，在VuGen中运行成功）

2）打开控制台，设置Run-time Settings

3）迭代次数：5

4）Pacing值：随机2~3  （每次迭代之间的时间间隔）

5）Think time: 忽略   （请求之间的时间间隔）

 忽略的原因：单用户对系统压力较小，忽略与否对结果影响不大。

 

方法2：单用户持续运行1分钟

1）调试好脚本（加检查点，在VuGen中运行成功）

2）打开控制台，设置Run-time Settings

3）Pacing值：随机2~3 

4）Think time: 忽略

5）Duration: 1分钟

提示：配置好后，观察图表状态，有所变动，才修改成功。

 

4、当Run-time Settings中迭代和VU部署设置(Duration)有冲突时，Duration的优先级较高。

比如：Duration选择第二项，就以此为准

         Run for __ days and __ (HH:MM:SS)

      如果选择第一项：Run until completion 还是听Duration

      只是它放权了。

Duration是一把手，让二把手看着办，此时Run-time Settings说的算。

 

5、测试报告中的结果，应该测试三次，取中间值。

（如：0.1秒  0.3秒  0.4秒  结果取0.3秒）

 

以上就是基准测试。