性能测试

概念:

使⽤⾃动化的⼯具，模拟不同的场景，对软件的各项性能指标进⾏测试和评估。

软件的范围包括:

后台处理程序(开发写的代码)

中间件(应⽤服务器)、数据库、程序架构等等

服务器资源的消耗(CPU、内存、磁盘、⽹络)

性能测试的⽬的:

1、评估当前的系统能⼒ 验收第三⽅提供的软件获取关键的性能指标，与同类型的软件对⽐(例如:跑分)

2、发现性能问题后，寻找性能瓶颈，优化性能(例如:12306春运时服务故障)

3、评估软件能否满⾜未来的性能需要(例如:淘宝11在2020年的销售额)

性能测试和功能测试的区别

焦点:

　　　　功能:关注系统对⽤户需求规则的满⾜程度。关注点(正向、逆向)

　　　　性能:关注系统对⽤户业务场景的满⾜程度。关注点(时间、资源)

关系:

　　　　在⼀个项⽬中，功能测试和性能测试⼀般都有

　　　　功能测试通过后，才进⾏性能测试

为什么要进⾏性能测试?

1、业务需求

　　⼤量⽤户下，系统能否稳定运⾏(⽐较多的)

　　⽤于硬件服务器的选型

　　⽤于软件技术的选型

2、招聘需求

性能的关注点:

　　性能(即效率)

　　时间特性:服务器处理⽤户请求的响应时间(卡/不卡)

　　资源特性:软件在运⾏时，对于服务器资源的消耗情况

　　CPU、内存、磁盘等

性能测试分类:

基准测试

负载测试

稳定性测试

并发测试

压力测试

容量测试

 

 

基准测试:

狭义上讲:单个⽤户进⾏业务场景的测试，并统计性能的各项指标(为后续多⽤户性能测试做参考对⽐)

⼴义上讲:在某⼀个时刻进⾏性能测试建⽴⼀个已知的性能⽔平，当软硬件发⽣变化时再测试，观察变化对于性能产⽣的影响

 

 

负载测试

通过逐步增加系统负载量，测试系统性能的变化，在满⾜性能指标的前提下，系统所能够承受的最⼤负载量的测试。

通过负载测试，⼀般能找到系统的最优负载和最⼤负载。

最⼤负载⼀般项⽬组内部知晓，不会对外公布。

普通⽤户看到的系统的最⼤能⼒，⼀般都是测试得到的最优负载。

稳定性测试:

在服务器稳定运⾏(业务正常的负载量)的情况下，进⾏⻓时间的测试，保证服务器能够正常运⾏。⻓时间:1天、1周

并发测试:

系统在短时间内同时处理⼤量请求，查看系统的并发处理能⼒。

压⼒测试:

测试系统在强负载的情况下，测试系统在峰值情况下的操作，是否具有良好的容错能⼒及错误的恢复能⼒。

稳定性压⼒测试:在系统⾼负载的情况下(接近C点)，⻓时间运⾏(24⼩时)，查看系统的处理能 ⼒，

破坏性压⼒测试:在系统极限负载的情况下(C-D点)，对系统进⾏压⼒测试，查看系统容错能⼒和错 误恢复能⼒。

 

容量测试:

关注系统在极限情况下的各种极限参数值。

 

 

性能测试的指标

指标

　　在性能测试的过程中，记录的⼀系列的数据值。⽤这些实际记录的数据值与需求中的性能要求做 对⽐，达成需求要求则⽆问题;未达到需求要求则说明是性能bug。

常⻅的性能指标:

响应时间

并发数

吞吐量

错误率

点击数

资源利⽤率

响应时间:

客户端发送请求，到客户端收到服务器返回的响应，过程中所经历的全部时间，都是响应时间 响应时间 = 应⽤程序处理时间(A1+A2+A3) + ⽹络传输时间(N1+N2+N3+N4)

并发⽤户数:

　　系统⽤户数：系统注册的总⽤户数（微信号称20亿⽤户）

　　在线⽤户数：某段时间内访问系统的⽤户数，这些⽤户不⼀定同时向系统提交请求 （每天⽇活1亿⼈）

　　并发⽤户数：在某⼀时刻向系统提交请求的⽤户数 （晚上11点整还在和对象你侬我侬的还有500w）

吞吐量:

英⽂为Throughput，单位时间内，系统处理客户端请求的数量。衡量服务器性能好坏的直接指

标。 从不同维度来描述:

　　业务维度: 业务数/秒，业务数/⼩时，业务数/天

　　⽹络维度:字节数/秒，字节数/⼩时，字节数/天

　　技术维度:TPS(每秒事务数)、QPS(每秒请求数)

QPS:服务器每秒钟处理的接⼝请求数量。(⼀个服务器中有多个接⼝，QPS指的是所有接⼝在同⼀个单位时间内的接⼝处理数量和)

TPS:服务器每秒钟处理的事务请求数量。 ⼀个事务通常指的是界⾯上的⼀个操作。⼀个事务可以包含⼀个或者多个接⼝请求。）

注意：

对于登录事务⽽⾔：当TPS为10时，服务器的QPS也是10

对于⽀付事务⽽⾔：当TPS为10时，服务器的QPS就是30

点击数:

点击数不是指在⻚⾯上的⼀次点击。 指的是⻚⾯(html代码、图⽚、js。。。)加载时，向服务器发送的请求数量 可以⽤每秒点击来衡量web服务器的处理能⼒。

错误率:

错误率不是功能有错误或者bug ，指的是在系统⾼负载的情况下，业务失败的次数/业务的总次数 *100%

资源利⽤率:

计算机各个硬件资源的使⽤情况，⼀般建议

cpu不⾼于80%（±5）

内存不⾼于80%

磁盘不⾼于90%

⽹络不⾼于80%

性能测试的流程:

需求分析:

熟悉被测系统

　　熟悉系统的业务功能

　　熟悉系统的技术架构

明确性能测试内容

　　从业务⻆度，挑选核⼼业务进⾏测试

　　从技术⻆度，挑选逻辑复杂度⾼、数据量⼤的业务进⾏测试

确定测试策略

　　负载测试、稳定性

确定性能测试指标

　　有需求:按照需求来测试

　　没有需求:同类型软件对⽐，对未来数据进⾏预估

性能测试计划:

从模板内容来说，与功能测试基本⼀致，主要就是写清楚谁来做、怎么做。

主要内容:

1、项⽬背景 —— 简介

2、测试⽬的

3、测试范围 —— 对于需求分析中的性能测试内容

4、测试策略 —— 对应于需求分析中的测试策略、

5、⻛险控制 —— 技术⻛险、⼈⼒⻛险

6、交付清单 —— 每个阶段的产出物

7、进度和分⼯ —— 谁在什么时候做什么事

性能测试⽤例:

要素:⽤例标题、⽤例编号、⽤例预制条件、⽤例步骤、⽤例预期结果、⽤例实际结果(实际结果:需要监控的各项性能指标)

 

性能测试执⾏:

测试脚本的编写/录制

建⽴测试环境 ——竟可能与⽤户的环境⼀致 执⾏测试脚本

性能测试监控 —— 与测试脚本执⾏同时进⾏

性能分析和调优

　　测试⼈员只需要确定是否存在性能bug，有bug则提缺陷报告

　　问题分析和调优由开发⼈员来完成，测试⼈员配合验证调优结果(可能需要经过多轮验证)

 

性能测试报告:

1、性能测试的过程记录，性能测试发现的问题、分析

2、性能测试过程中的⻛险，当前是否存在⻛险

3、给出性能测试结论(通过/不通过)，经验和教训。