性能测试基础知识

参考书籍：《软件性能测试过程详解与案例剖析》第二版——作者：段念

 

1、定义

对响应时间的评估、分析，结合应用的架构和实现细节找出问题，并最终确认问题得到解决的过程 

2、影响软件性能的因素

网络环境、数据库服务器、应用服务器、业务逻辑的实现方式、系统采用的架构、代码的优化程度、使用者的使用方式等

3、测试模型

通用的软件测试过程模型（PTGM）、敏捷软件测试模型（ATPM）

4、软件性能测试的应用领域 

能力验证、规划能力、性能调优、瓶颈发现、性能基准比较

 

一：基础篇

1、软件性能测试的基本概念

1.1 性能是一种指标（软件性能对其及时性要求的符合程度）

    性能的及时性用响应时间或者吞吐量表示

    响应时间：对请求做出响应所需要的时间

例子：交互式的应用（web）：用户感受到的响应时间

     非交互式的应用（嵌入式或者银行等业务处理系统）：系统对事件产生响应的time

1.1.1 用户视角的软件性能

端→端

用户操作——数据操作请求——（应用服务器）服务端响应——返回数据——用户端

1.1.2 管理员视角的软件性能 

服务器资源使用状况是否合理                       资源利用率

数据库资源使用状况是否合理                       资源利用率

系统能否可以实现扩展                            系统可扩展性

系统的最大并发，压力是多少                       

并发：最多能支持多少用户访问                     系统容量

压力：最大的业务处理量

系统可能的瓶颈在哪里                            系统可扩展性

更换什么设备能提升系能                          系统可扩展性

能否支持7*24小时的业务访问                      系统稳定性

1.1.3 开发视角的软件性能 

架构设计是否合理                               系统架构

数据库设计是否存在问题                          数据库设计

代码是否存在性能方面的问题                       代码

系统中是否存在不合理的内存使用方式                代码

系统中是否存在不合理的线程同步方式                设计与代码

系统中是否存在不合理的资源竞争                   设计与代码 

1.1.4 web前端性能

Web应用的前端响应时间：页面加载时间

其中包括：

1.对HTML的解析读取

2.对页面图片及CSS等文件的获取和加载

3.客户端脚本（JavaScript）的执行时间

4.对页面进行展现所花的时间 

 

1.2软件性能的几个主要术语

1.2.1 

合理的响应时间取决于实际用户需求

1.2.2 

并发用户数：N数值的用户同时访问系统

1.服务器实际承受的压力不只取决于并发用户数，还取决于用户的业务场景

2.服务端承受的最大并发访问数取决于并发用户数+业务场景

业务场景：通过服务器日志的分析得出的结果

日志分析方法：对服务器日志进行分析，了解系统用户的使用状态，计算出服务器承受的最大并发用户数量

特点：准确度/可信度高

适用：internet应用（无法估算用户量和行为方式）

推荐日志分析工具：AWStats：http://awstats.sourceforge.net/

这是一个基于Perl的日志分析工具，可对Apache/IIS的日志进行分析，还有良好的扩展支持

 

用于估算并发用户数的公式（仅供参考）

平均用户并发数：C=n*L/T

峰值并发用户数：C›≈C+3√C 

其中，C是平均并发数，n是用户从登陆到退出系统的时间段，L是系统使用时间段的平均值，T是使用系统的时间段数值，C›指并发用户数的峰值

对于企业内部使用的web系统，还有精度更小的一种公式

平均用户并发数：C=n/10

峰值用户并发数：C›≈r*C 

其中，r值一般取2—3.这种方法要求不太严格，只有很少数据支持分析的性能测试中使用

1.2.3 吞吐量

定义：单位时间内系统处理客户请求的数量

一般来说，请求数/每秒OR页面数/每秒来衡量

从业务角度来说，访问人数/天OR处理的业务数/小时来衡量（PV、UV）

从网络角度来说，字节数/天来考察网络流量 

对于交互式应用，吞吐量指标反映服务器承受的压力，在容量规划测试中，吞吐量是个很重要的指标，因为它能说明系统级别的负载能力

Web系统的性能测试中，吞吐量指标可以在两个方面发挥作用

1.协助设计性能测试场景，以及衡量性能测试场景是否达到预期的设计目标

2.协助分析性能瓶颈

3.没有遇到瓶颈之前，吞吐量和并发用户之间存在的关系可以用下面的公式表达：

  F=N（vu）*R/T

F表示吞吐量，N表示VU的个数，R表示每个VU发送的请求（点击）数量，T表示性能测试所用的时间

不同并发用户数量情况下，对同一系统施加相同的吞吐量，很可能得到不同结果

 

PS：大部分性能测试中，单击数（Hits）指客户端发出的HTTP的请求数量，而不是指用户在页面上的一次单击事件。

比如：一次单击事件请求页面A，页面A包含3张图片和一个框架（Frame），则这次单击共产生了5个Hits（包括对页面A本身的请求） 

1.2.4性能计数器（Counter)

定义：描述服务器或者操作系统性能的一些数据指标

作用：监控、分析

分析系统可扩展性，进行性能瓶颈的定位时，计数器取值非常关键

相关指标：资源利用率：系统各种资源的使用情况 

1.2.5思考时间（Think Time）

休眠时间：用户操作时间每个请求的间隔时间

体现在脚本中，就是操作之间放一个Think函数，使脚本在执行两个操作之间等待一段时间

公式F=N（vu）*R/T吞吐量是VU数量N，请求数R和时间T的函数，其中，R又可以用时间T和用户的思考时间Ts来计算：

  R=T/Ts   （请求数=时间/请求间隔时间）

推荐一个计算思考时间的方法：

1.首先计算出系统的并发用户数

2.统计出系统平均的吞吐量

3.统计出平均每用户发出的请求数量

4.根据上面的公式得出请求时间