性能测试概念介绍
参照阿里云性能测试工具的文档 https://help.aliyun.com/document_detail/29338.html?spm=a2c4g.11186623.6.615.440c14761SSHDt
概念
HPS
hit per second,每秒点击数
QPS
query per second,每秒处理查询的次数
TPS
Transaction Per Second,每秒系统可以处理的事务
RPS
request per second 吞吐量,每秒请求数
一般用TPS衡量业务,QPS衡量接口查询次数,HPS衡量对服务器的点击请求
标准(越大越好)
- 金融行业:1000TPS~50000TPS,不包括互联网化的活动
- 保险行业:100TPS~100000TPS,不包括互联网化的活动
- 制造行业:10TPS~5000TPS
- 互联网电子商务:10000TPS~1000000TPS
- 互联网中型网站:1000TPS~50000TPS
- 互联网小型网站: 500TPS~10000TPS
响应时间
客户端发送请求开始,客户端接收到服务器返回结束(请求发送时间,网络传输时间,服务器处理时间组成)
性能测试结果中,分为最小响应时间,最大响应时间,平均响应时间
响应时间标准
- 互联网企业:500毫秒以下,例如淘宝业务10毫秒左右。
- 金融企业:1秒以下为佳,部分复杂业务3秒以下。
- 保险企业:3秒以下为佳。
- 制造业:5秒以下为佳。
错误率
错误率指系统在负载情况下,失败交易的概率。错误率=(失败交易数/交易总数)*100%。稳定性较好的系统,其错误率应该由超时引起,即为超时率。
标准
一般不超出千分之六,即成功率不低于99.4%
CPU及系统负载
测试场景运行时间段内服务器的CPU资源占用率,是判断是否稳定运行及处理能力的因素
系统负载:系统正在干活的多少的度量
标准
PU指标主要指的CPU利用率,包括用户态(user)、系统态(sys)、等待态(wait)、空闲态(idle)。
CPU 利用率要低于业界警戒值范围之内,即小于或者等于75%;CPU sys%小于或者等于30%, CPU wait%小于或者等于5%。单核CPU也需遵循上述指标要求。CPU Load要小于CPU 核数。
网络吞吐量
在无网络故障的情况下单位时间内通过的网络的数据数量。单位为Byte/s
网络吞吐量指标接近网络设备或链路最大传输能力时,则需要考虑升级网络设备
标准
主要有每秒有多少兆流量进出,一般情况下不能超过设备或链路最大传输能力的70%
磁盘吞吐量
在无磁盘故障的情况下单位时间内通过磁盘的数据量
标准
磁盘繁忙率是直接反映磁盘是否有瓶颈的的重要依据,一般情况下,磁盘繁忙率要低于70%。
并发
狭义:多个用户同一时间同一个操作。目的是测试数据库/程序对并发操作的处理,用于负载测试,压力测试
广义:多个用户不同的操作,对系统而言,还是很多用户在同事操作,用于混合场景,稳定性测试
场景
为了模拟真实用户的操作,场景包含了脚本,施压模式,用户数,日志级别,步调时间
并发用户数
模拟真实操作步骤的虚拟用户
请求状态
200:成功, 204:成功但是没有返回任何内容, 3**:需要客户端进一步操作才可完成请求 4**:请求可能出错,服务器无法处理 5**:服务器处理请求时发生内部错误