大话性能测试系列（3）- 常用的性能指标

如果你对性能测试感兴趣，但是又不熟悉理论知识，可以看下面的系列文章

https://www.cnblogs.com/poloyy/category/1620792.html

 

两种性能指标

• 业务指标
• 技术指标

通常我们会从两个层面定义性能场景的需求指标，它们有映射关系，技术指标不能脱离业务指标

 

并发

狭义

指同一个时间点执行相同的操作（如：秒杀）

 

广义

• 同一时间点，向服务器发起的请求（可能是不同的请求）
• 只要向服务器发起请求，那么服务器在这一时间点内都会收到请求（不管是不是同一个请求）

 

场景类比

高速公路上，同时有多少辆车经过同一个关卡，但不一定是同一个牌子的汽车

 

并发用户数（重点）

• 同一时间点，发出请求的用户数，一个用户可以发出多个请求
• 场景不一定是同一个
• 和 CPU、响应时间有关系

 

和并发的关系

假设有 10 个用户数，每个用户同一时间点内发起 2 个请求，那么服务器收到的请求并发数就是 20

 

性能测试小场景一

• 不同身份的用户，访问不同的页面或发起不同的请求（广义的并发）
• 观察 CPU 使用率和响应时间

 

性能测试小场景二

• 所有用户，同一个时间点发送同一个请求（狭义的并发）
• 观察 CPU 使用率和响应时间

 

系统用户数

• 系统累计注册用户数，不一定在线
• 注册之后也可以一直不在线
• 因为用户信息是存在数据库的，而数据库数据就是存在磁盘中，所以系统用户数和磁盘空间有关系

 

性能测试小场景

• 写一个脚本添加很多条用户信息插入到数据库
• 目的：测试系统容量，方便了解系统的最大容量
• 实际项目中，当系统容量接近最大容量时，系统需要进行容量扩容（加磁盘空间），否则就会爆掉

 

在线用户数

• 在线用户可能是正常发起请求，也可能只是挂机啥操作都没有，不一定同时做某一件事情
• 在线用户可能是游客（未注册的用户），也可能是系统用户（已注册的用户）
• 在线用户数≠并发用户数
• 和内存有关系

 

性能测试小场景

• 使用 Jmeter 让不同的用户不断上线，且不下线和发起其他请求，看看内存使用情况
• 实际场景：12306 以前很多用户在线，响应时间会拉的很长

 

线程数

在 jmeter 中，线程数和并发用户数等价【和CPU、响应时间有关系】

 

事务

• 客户端向服务器发送请求，然后服务器做出响应的过程
• 登录、注册、下单等功能都属于一个事务
• 一个事务可能会发起多个请求

 

jmeter 相关

jmerter 中，默认一个接口请求，就是一个事务；但也支持多个接口整合成一个事务

 

注意点

若一个业务或事务有多个接口，那么多个单接口的性能指标值相加 ≠ 业务或事务的性能指标值

 

再来看看有哪些常见的性能指标值

 

响应时间（Respose Time）

响应时间对于性能测试来说

• 从发起请求到收到请求响应的时间
• 包含了：Request Time 和 Response Time
• 等价于：发起请求网络传输时间 + 服务器处理时间 + 数据库系统处理时间 + 返回响应网络传输时间

 

 

对用户所感知的响应时间包括

• 用户客户端渲染时间（多了这个）
• 请求/响应数据网络传输时间
• 应用服务器处理时间
• 数据库系统处理时间

 

重点

在做性能测试时，要尽可能的降低网络传输时间，这样最终得出的 RT 会无限接近服务器处理时间，所以我们要把网络环境搞好

 

事务请求响应时间

完成单个事务所用的时间，可能包含了多个请求

 

假如用户说应用很慢，要怎么分析？（仅供参考）

• 单个用户慢？还是多个用户慢？手上只有我们自己的应用慢？还是所有应用都这么慢？
• 网络问题的话，带宽是用哪家营业商？不同营业商是不是都卡？还是只有用户所在的营业商卡？
• .....等等等

 

响应时间多少合理？

• 标准是：2、5、8
• 2秒：很好
• 5秒：可以接受
• 8秒：不能接受

 

TPS（Transaction Per Second，最主要的指标）

服务器每秒处理事务数，衡量服务器处理能力的最主要指标

 

知道 T 是如何定义的

• 在不同的行业、业务中，TPS 定义的颗粒度可能是不同的
• 所以不管什么情况下，需要做性能测试的业务的相关方都要知道你的 T 是如何定义的 

 

定义 TPS 的粒度

• 一般会根据场景的目的来定义 TPS 的粒度
• 接口层性能测试：T 可以定义为接口级
• 业务级性能测试：T 可以定义为每个业务步骤和完整的业务流

 

栗子

如果要单独测试接口 1、2、3，那么 T 就是接口级

如果从用户角度下订单，那 1、2、3 都在一个 T 中，就是业务级

结合实际业务设计，库存服务一定是同步，而积分服务可以是异步，所以这个下单业务，可以只看作由 1、2 这两个接口组成，但是 3 接口还是要监控分析的

 

所以，性能中 TPS 中 T 的定义取决于场景的目标和 T 的作用

 

拿上图做个例子

接口级脚本

——事务 start（接口 1）

接口 1 脚本

——事务 end（接口 1）

——事务 start（接口 2）

接口 2 脚本

——事务 end（接口 2）

——事务 start（接口 3）

接口 3 脚本

——事务 end（接口 3）

 

业务级接口层脚本（就是用接口拼接出一个完整的业务流）

——事务 start（业务 A）

接口 1 脚本 - 接口 2（同步调用）

接口 1 脚本 - 接口 3（异步调用）

——事务 end（业务 A）

 

用户级脚本

——事务 start（业务 A）

点击 0 - 接口 1 脚本 - 接口 2（同步调用）

点击 0 - 接口 1 脚本 - 接口 3（异步调用）

——事务 end（业务 A）

 

总结

一般情况下，我们会按从上到下的顺序一一来测试，这样路径清晰地执行，容易定位问题

 

QPS（Queries per Second）

• 每秒查询率，在数据库中每秒执行 SQL 数量
• 一个请求可能会执行多条 SQL
• 某些企业可能会用QPS代替TPS
• 也是衡量服务端处理能力的一个指标，但不建议使用

 

RPS（Request per Second）

简单理解

每秒请求数，用户从客户端发起的请求数

 

深入挖掘

对于请求数来说，也要看是哪个层面的请求，把上面的图做一点点变化来描述请求数

如果一个用户点击了一次，发出来 3 个 HTTP Request，调用了 2 次订单服务，调用了 2 次库存服务，调用了 1 次积分服务

问：Request 数量如何计算

答：3+2+2+1 = 8？不， 应该是 3，因为发出了 3 个 Request，而调用服务会有单独的描述，以便做性能统计

 

 

HPS（Hit per Second）

• 点击率，每秒点击数
• 可直接理解为用户在界面上的点击次数
• 一般在性能测试中，都用来描述 HTTP Request，那它代表每秒发送 HTTP 请求的数量，和 RPS 概念完全一样
• HPS 越大对 Server 的压力越大

 

CPS/CPM（Calls Per Second/ Calls Per Minutes）

• 每秒/每分钟调用次数
• 通常用来描述 Service 层的单位时间内被其他服务调用的次数

 

栗子

上图的订单服务、库存服务、积分服务，各调用了2、2、1次，还是比较好理解的

 

TPS、QPS、RPS、HPS、CPS 的总结

有很多维度可以衡量一个系统的性能能力，但是如果把五个指标同时都拿来描述系统性能能力的话，未必太混乱了

 

为此我们可以这样做

• 用 TPS 来统一形容系统的性能能力，其他的都在各层面加上限制条件来描述，比如说：接口调用 1000 Calls/s
• 在团队中要定义清楚术语的使用场景，还有含义

 

吞吐量（Throughput）

单位时间内，网络处理的请求数量（事务/s）

网络没有瓶颈时，吞吐量≈TPS

 

吞吐率

单位时间内，在网络传输的数据量的平均速率（kB/s）

 

资源利用率

• 服务器资源的使用程度，比如服务器（应用、服务器）的CPU利用率，内存利用率，磁盘利用率，网络带宽利用率
• 一般不超过80%

 

Think Time 思考时间

从业务角度看

• 它指的是用户进行操作时，每个请求之间的时间间隔
• 比如：加入购物车后，多久之后会点击下单？浏览一个商品多久会加入购物车

 

从性能测试角度看

• 为了模拟用户两次操作之间的时间间隔，才有 Think Time，更加真实的模拟用户的真实操作
• 它和用户行为有关系，所以应该分析的是用户行为而非用户数

 

结尾

本篇博文，部分参考了高老师的《性能测试实战30讲》，因为指标那一块讲的特别好哦~