性能测试---性能测试指标

一、什么是性能测试？

压力测试：强调极端暴力 
稳定性测试：在一定压力下，长时间运行的情况 
基准测试：在特定条件下的性能测试 
负载测试：不同负载下的表现 
容量测试：最优容量

不同人群关注的性能指标各有侧重。后台服务接口的调用者一般只关心吞吐量、响应时间等外部指标。后台服务的所有者不仅仅关注外部指标，还会关注CPU、内存、负载等内部指标。

拿某打车平台来说，它所关心的是智能提示的外部指标能不能抗住因大波优惠所导致的流量激增。而对于智能提示服务的开发、运维、测试人员，不仅仅关注外部指标，还会关注CPU、内存、IO等内部指标，以及部署方式、服务器软硬件配置等运维相关事项

 

二、性能测试外部指标

　　吞吐量：每秒钟系统能够处理的请求数、任务数

　　响应时间 ：服务处理一个请求或一个任务的耗时

　　错误率：一批请求中结果出错的请求所占比例

　　

　　1、响应时间的指标取决于具体的服务。如智能提示一类的服务，返回的数据有效周期短（用户多输入一个字母就需要重新请求），对实时性要求比较高，响应时间的上限一般在100ms以内。而导航一类的服务，由于返回结果的使用周期比较长（整个导航过程中），响应时间的上限一般在2-5s。

   对于响应时间的统计，应从均值、.90、.99、分布等多个角度统计，而不仅仅是给出均值。

　下图是响应时间统计的一个例子

　　　

 

 　　2、吞吐量的指标受到响应时间、服务器软硬性配置、网络状态 等多方面影响的影响。

　　吞吐量越大，响应时间越长。

　　服务器硬件配置越高，吞吐量越大。

　　网络越差，吞吐量越小。

　　

　　一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。

　　单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。

　　

　　系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间

        QPS（TPS）：每秒钟request/事务 数量

        并发数： 系统同时处理的request/事务数

        响应时间：  一般取平均响应时间

　　它们之间的关系：

　　QPS（TPS）= 并发数/平均响应时间

　　

　　一个系统吞吐量通常由QPS（TPS）、并发数两个因素决定，每套系统这两个值都有一个相对极限值，在应用场景访问压力下，只要某一项达到系统最高值，系统的吞吐量就上不去了，如果压力继续增大，系统的吞吐量反而会下降，原因是系统超负荷工作，上下文切换、内存等等其它消耗导致系统性能下降。

　

　　在低吞吐量下的响应时间的均值、分布比较稳定，不会产生太大的波动。

　　在高吞吐量下，响应时间会随着吞吐量的增长而增长，增长的趋势可能是线性的，也可能接近指数的。当吞吐量接近系统的峰值时，响应时间会出现激增。

 

　　3、错误率和服务的具体实现有关。通常情况下，由于网络超时等外部原因造成的错误比例不应超过5%%，由于服务本身导致的错误率不应超过1% 。

 

 

 

三、性能测试内部指标

　　从服务器的角度看，性能测试主要关注CPU、内存、服务器负载、网络、磁盘IO等

　　1、CPU:

　　后台服务的所有指令和数据处理都是由CPU负责，服务对CPU的利用率对服务的性能起着决定性的作用。

　　Linux系统的CPU主要有如下几个维度的统计数据：

　　us: 用户态使用的cpu时间百分比

　　sy: 内核态使用的cpu时间百分比

　　ni: 用做nice加权的进程分配的用户态cpu时间百分比

　　id: 空闲的cpu时间百分比

　　wa: cpu等待IO完成时间百分比

　　si: 软中断消耗时间百分比

　　

us & sy：大部分后台服务使用的CPU时间片中us和sy的占用比例是最高的。同时这两个指标又是互相影响的，us的比例高了，sy的比例就低，反之亦然。通常sy比例过高意味着被测服务在用户态和系统态之间切换比较频繁，此时系统整体性能会有一定下降。另外，在使用多核CPU的服务器上，CPU 0负责CPU各核间的调度，CPU 0上的使用率过高会导致其他CPU核心之间的调度效率变低。因此测试过程中CPU 0需要重点关注。

ni：每个Linux进程都有个优先级，优先级高的进程有优先执行的权利，这个叫做pri。进程除了优先级外，还有个优先级的修正值。这个修正值就叫做进程的nice值。一般来说，被测服务和服务器整体的ni值不会很高。如果测试过程中ni的值比较高，需要从服务器Linux系统配置、被测服务运行参数查找原因

id：线上服务运行过程中，需要保留一定的id冗余来应对突发的流量激增。在性能测试过程中，如果id一直很低，吞吐量上不去，需要检查被测服务线程/进程配置、服务器系统配置等。

wa：磁盘、网络等IO操作会导致CPU的wa指标提高。通常情况下，网络IO占用的wa资源不会很高，而频繁的磁盘读写会导致wa激增。如果被测服务不是IO密集型的服务，那需要检查被测服务的日志量、数据载入频率等。

hi & si：硬中断是外设对CPU的中断，即外围硬件发给CPU或者内存的异步信号就是硬中断信号；软中断由软件本身发给操作系统内核的中断信号。通常是由硬中断处理程序或进程调度程序对操作系统内核的中断，也就是我们常说的系统调用(System Call)。在性能测试过程中，hi会有一定的CPU占用率，但不会太高。对于IO密集型的服务，si的CPU占用率会高一些。

 

　　2、内存

　　性能测试过程中对内存监控的主要目的是检查被测服务所占用内存的波动情况。

　　在Linux系统中有多个命令可以获取指定进程的内存使用情况，最常用的是top命令。