如何应用性能测试常用计算公式

如何应用性能测试常用计算公式

1．问题提出

性能测试中有很多非常重要的概念，如吞吐量、最大并发用户数、最大在线用户数等。有很多读者也非常关心，如何针对自身的系统确定当前系统，在什么情况下就可以满足系统吞吐量、并发用户数等指标要求呢？

2．问题解答

（1）吞吐量计算公式。

吞吐量（Throughput）指的是单位时间内处理的客户端请求数量，直接体现软件系统的性能承载能力。通常情况下，吞吐量用"请求数/s"或者"页面数/s"来衡量。从业务角度来看，吞吐量也可以用"业务数/h"、"业务数/天"、"访问人数/天"、"页面访问量/天"来衡量。从网络角度来看，还可以用"字节数/h"、"字节数/天"等来衡量网络的流量。

吞吐量是大型门户网站以及各种电子商务网站衡量自身负载能力的一个很重要的指标，一般吞吐量越大，系统单位时间内处理的数据越多，系统的负载能力也越强。

吞吐量是衡量服务器承受能力的重要指标。在容量测试中，吞吐量是一个重点关注的指标，因为它能够说明系统的负载能力。而且，在性能调试过程中，吞吐量也具有非常重要的价值，例如，Empirix公司在报告中声称，在他们所发现的性能问题中，有80%是因为吞吐的限制而引起性能问题。

显而易见，吞吐量指标在性能测试中占有着重要地位。那么吞吐量会受到哪些因素影响，该指标和虚拟用户数、用户请求数等指标有何关系呢？吞吐量和很多因素有关，如服务器的硬件配置，网络的拓扑结构，网络传输介质，软件的技术架构等。此外，吞吐量和并发用户数之间存在一定的联系。通常在没有遇到性能瓶颈的时候，吞吐量可以采用下面的公式计算：

 

这里，F表示吞吐量； 表示并发虚拟用户个数（Concurrency Virtual User，并发虚拟用户），R表示每个VU发出的请求数量，T表示性能测试所用的时间。但如果遇到了性能瓶颈，此时吞吐量和VU数量之间就不再符合给出公式的关系。

（2）并发数量计算公式。

关于并发（Concurrency），最简单的描述就是指多个同时发生的业务操作。例如，100个用户同时单击登录页面的"登录"按钮操作。通常，应用系统会随着用户同时应用某个具体的模块，而导致资源的争用问题，例如，50个用户同时执行统计分析的操作，由于统计业务涉及很多数据提取以及科学计算问题，所以这个时候很有可能内存和CPU会出现瓶颈。并发性测试描述的是多个客户端同时向服务器发出请求，考察服务器端承受能力的一种性能测试方式。

有很多用户在进行性能测试过程中，对"系统用户数"、"在线用户数"、"并发用户数"的概念不是很清楚，这里我们举一个例子来对这几个概念进行说明。假设有一个综合性的网站，用户只有注册后登录系统才能够享有，新闻、论坛、博客、免费信箱等服务内容。通过数据库统计可以知道，系统的用户数量为4000人，4000即为"系统用户数"。通过操作日志我们可以知道，系统最高峰时有500个用户同时在线，关于在线用户有很多第三方提供插件可以进行统计，这里以http://www.51.la为例，这里"在线用户数"即为500。这500个用户的需求肯定是不尽相同的，有的人喜欢看新闻、有的人喜欢写博客、收发邮件等。这里假设这500个用户中有70%在论坛看邮件、帖子、新闻以及他人博客的文章（有一点需要提醒大家的是，"看"这个操作是不会对服务器端造成压力的）；有10%在写邮件和发布帖子（用户仅在发送或者提交写的邮件或者发布新贴的时候，才会对系统服务器端造成压力）；有10%的用户什么都没有做；有10%的用户不停地从一个页面跳到另一个页面。在这种场景下，通常我们说有10%的用户真正对服务器构成了压力（即10%不停地在网页间跳转的用户），极端情况下可以把写邮件和发布帖子的另外10%的用户加上（此时假设这些用户不间断的发送邮件或发布帖子），也就是说此时有20%的用户对服务器造成压力。从上面的例子可以看出，服务器承受的压力不仅取决于业务并发用户数，还取决于用户的业务场景。

那么如何获得在性能测试过程中大家都很关心的并发用户数的数值呢？这里我们给出《软件性能测试过程详解与案例剖析》一书中的一些用于估算并发用户数的公式。

 

 

在公式（1）中，C是平均的并发用户数；n是login session的数量；L是login session的平均长度；T指考察的时间段长度。

公式（2）则给出了并发用户数峰值的计算公式，其中，C 指并发用户数的峰值，C就是公式（1）中得到的平均的并发用户数。该公式的得出是假设用户的login session产生符合泊松分布而估算得到的。

下面给出一个实例来讲述公式的应用。假设有一个OA系统，该系统有3000个用户，平均每天大约有400个用户要访问该系统，对一个典型用户来说，一天之内用户从登录到退出系统平均时间为4h，在一天的时间内，用户只在8小时内使用该系统。则根据公式（1）和公式（2），可以得到 ， 。

除了上述方法以外，还有一种应用更为广泛的估算方法，当然这种方法的精度较差，这种公式的计算是由平时经验的积累而得到，相应经验公式为： （公式（3））和 （公式（4））。通常，用访问系统用户最大数量的10%作为平均的并发用户数，并发用户数的最大数量可以通过在并发数上乘以一个调整因子r得到，r的取值在不同的行业可能会有所不同，通常r的取值为2～3。系统用户最大数量可以通过系统操作日志或者系统全局变量分析得到，在没有系统日志等手段得到时，也可以根据同类型的网站分析或者估算得到（当然这种方法存在着一定的偏差，读者应该酌情选择），现在有很多网站提供非常好的网站访问量统计，如http://www.51.la（我要啦免费统计网站），用户可以申请一个账户，而后把该网站提供的代码嵌入网站，就可以通过访问"我要啦免费统计网站"来查看每天的访问量、每月的访问量等信息。r（调整因子）的确定不是一朝一夕就可以得到，通常需要根据多次性能测试的数据，才能够确定比较准确的取值。所以，大家在平时进行并发测试过程中，一定要注意数据的积累，针对本行业的特点，确定一个比较合理的r值。如果能知道平均每个用户发出的请求数量（假设为 ），则系统接受的总的请求数量就可以通过 估算出来，这个值也就是我们平时所说的吞吐量。

（3）思考时间计算公式。

思考时间（Think Time）是在录制脚本过程中，每个请求之间的时间间隔，也就是操作过程中停顿的时间。在实际应用系统时，不会一个接一个地不停的发送请求，通常在发出一个请求以后，都会停顿一定的时间，来发送下一个请求。

为了真实的描述用户操作的实际场景，在录制脚本的过程中，通常，LoadRunner也会录制这些思考时间，在脚本中lr_think_time()函数就是实现前面所说的思考时间，它实现了在两个请求之间的停顿。

在实际性能测试过程中，作为一名性能测试人员，可能非常关心怎样设置思考时间才能够跟实际情况最合理。其实，思考时间与迭代次数、并发用户数以及吞吐量存在一定的关系。

如   （公式（5））说明吞吐量是VU数量 、每个用户发出请求数 和时间 的函数，而其中的 又可以用时间 和用户的思考时间 来计算得出， （公式（6）），用公式（5）和公式（6）进行化简运算可得，吞吐量与 成正比，而与 成反比。

那么，究竟怎样选择合适的思考时间呢？下面给出一个计算思考时间的一般步骤。

① 计算出系统的并发用户数。

② 统计出系统平均的吞吐量。

③ 统计出平均每个用户发出的请求数量。

④ 根据公式（6）计算出思考时间。

为了使性能测试的场景更加符合真实的情况，可以考虑在公式（6）的基础上再乘以一个比例因子或者指定一个动态随机变化的范围来仿真实际情况。

经常会看到有很多做性能测试对是否引入思考时间在网络上的争论，在这里笔者认为思考时间是为了模拟真实的操作而应运而生，所以如果您要模拟真实场景的性能测试建议还是应用思考时间。但是，如果要考察一个系统能够处理的压力-极限处理能力，则可以将思考时间删除或者注释掉，从而起到最大限度的发送请求，考察系统极限处理能力的目的。

via:http://book.51cto.com/art/201311/419808.htm

 

 

系统吞吐量（TPS）、用户并发量、性能测试概念和公式

 

PS：下面是性能测试的主要概念和计算公式，记录下：

一．系统吞度量要素：

  一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。

单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。

系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间

        QPS（TPS）：每秒钟request/事务 数量

        并发数： 系统同时处理的request/事务数

        响应时间：  一般取平均响应时间

（很多人经常会把并发数和TPS理解混淆）

理解了上面三个要素的意义之后，就能推算出它们之间的关系：

QPS（TPS）= 并发数/平均响应时间

        一个系统吞吐量通常由QPS（TPS）、并发数两个因素决定，每套系统这两个值都有一个相对极限值，在应用场景访问压力下，只要某一项达到系统最高值，系统的吞吐量就上不去了，如果压力继续增大，系统的吞吐量反而会下降，原因是系统超负荷工作，上下文切换、内存等等其它消耗导致系统性能下降。

决定系统响应时间要素

我们做项目要排计划，可以多人同时并发做多项任务，也可以一个人或者多个人串行工作，始终会有一条关键路径，这条路径就是项目的工期。

系统一次调用的响应时间跟项目计划一样，也有一条关键路径，这个关键路径是就是系统影响时间；

关键路径是有CPU运算、IO、外部系统响应等等组成。

二．系统吞吐量评估：

我们在做系统设计的时候就需要考虑CPU运算、IO、外部系统响应因素造成的影响以及对系统性能的初步预估。

而通常境况下，我们面对需求，我们评估出来的出来QPS、并发数之外，还有另外一个维度：日PV。

通过观察系统的访问日志发现，在用户量很大的情况下，各个时间周期内的同一时间段的访问流量几乎一样。比如工作日的每天早上。只要能拿到日流量图和QPS我们就可以推算日流量。

通常的技术方法：

        1. 找出系统的最高TPS和日PV，这两个要素有相对比较稳定的关系（除了放假、季节性因素影响之外）

        2. 通过压力测试或者经验预估，得出最高TPS，然后跟进1的关系，计算出系统最高的日吞吐量。B2B中文和淘宝面对的客户群不一样，这两个客户群的网络行为不应用，他们之间的TPS和PV关系比例也不一样。

A)淘宝

淘宝流量图：

淘宝的TPS和PV之间的关系通常为  最高TPS：PV大约为 1 : 11*3600 （相当于按最高TPS访问11个小时，这个是商品详情的场景，不同的应用场景会有一些不同）

B) B2B中文站

B2B的TPS和PV之间的关系不同的系统不同的应用场景比例变化比较大，粗略估计在1 : 8个小时左右的关系（09年对offerdetail的流量分析数据）。旺铺和offerdetail这两个比例相差很大，可能是因为爬虫暂的比例较高的原因导致。

在淘宝环境下，假设我们压力测试出的TPS为100，那么这个系统的日吞吐量=100*11*3600=396万

这个是在简单（单一url）的情况下，有些页面，一个页面有多个request，系统的实际吞吐量还要小。

无论有无思考时间（T_think），测试所得的TPS值和并发虚拟用户数(U_concurrent)、Loadrunner读取的交易响应时间（T_response）之间有以下关系（稳定运行情况下）：
TPS=U_concurrent / (T_response+T_think)。

并发数、QPS、平均响应时间三者之间关系

来源：http://www.cnblogs.com/jackei/

软件性能测试的基本概念和计算公式

一、软件性能的关注点

对一个软件做性能测试时需要关注那些性能呢？

我们想想在软件设计、部署、使用、维护中一共有哪些角色的参与，然后再考虑这些角色各自关注的性能点是什么，作为一个软件性能测试工程师，我们又该关注什么？

首先，开发软件的目的是为了让用户使用，我们先站在用户的角度分析一下，用户需要关注哪些性能。

对于用户来说，当点击一个按钮、链接或发出一条指令开始，到系统把结果已用户感知的形式展现出来为止，这个过程所消耗的时间是用户对这个软件性能的直观印象。也就是我们所说的响应时间，当相应时间较小时，用户体验是很好的，当然用户体验的响应时间包括个人主观因素和客观响应时间，在设计软件时，我们就需要考虑到如何更好地结合这两部分达到用户最佳的体验。如：用户在大数据量查询时，我们可以将先提取出来的数据展示给用户，在用户看的过程中继续进行数据检索，这时用户并不知道我们后台在做什么。

用户关注的是用户操作的相应时间。

其次，我们站在管理员的角度考虑需要关注的性能点。

1、 相应时间
2、 服务器资源使用情况是否合理
3、 应用服务器和数据库资源使用是否合理
4、 系统能否实现扩展
5、 系统最多支持多少用户访问、系统最大业务处理量是多少
6、 系统性能可能存在的瓶颈在哪里
7、 更换那些设备可以提高性能
8、 系统能否支持7×24小时的业务访问

再次，站在开发（设计）人员角度去考虑。

1、 架构设计是否合理
2、 数据库设计是否合理
3、 代码是否存在性能方面的问题
4、 系统中是否有不合理的内存使用方式
5、 系统中是否存在不合理的线程同步方式
6、 系统中是否存在不合理的资源竞争

那么站在性能测试工程师的角度，我们要关注什么呢？

一句话，我们要关注以上所有的性能点。

二、软件性能的几个主要术语

1、响应时间：对请求作出响应所需要的时间

网络传输时间：N1+N2+N3+N4

应用服务器处理时间：A1+A3

数据库服务器处理时间：A2

响应时间=N1+N2+N3+N4+A1+A3+A2

2、并发用户数的计算公式

系统用户数：系统额定的用户数量，如一个OA系统，可能使用该系统的用户总数是5000个，那么这个数量，就是系统用户数。

同时在线用户数：在一定的时间范围内，最大的同时在线用户数量。
同时在线用户数=每秒请求数RPS（吞吐量）+并发连接数+平均用户思考时间

平均并发用户数的计算：C=nL / T

其中C是平均的并发用户数，n是平均每天访问用户数（login session），L是一天内用户从登录到退出的平均时间（login session的平均时间），T是考察时间长度（一天内多长时间有用户使用系统）

并发用户数峰值计算：C^约等于C + 3*根号C

其中C^是并发用户峰值，C是平均并发用户数，该公式遵循泊松分布理论。

3、吞吐量的计算公式

指单位时间内系统处理用户的请求数

从业务角度看，吞吐量可以用：请求数/秒、页面数/秒、人数/天或处理业务数/小时等单位来衡量

从网络角度看，吞吐量可以用：字节/秒来衡量

对于交互式应用来说，吞吐量指标反映的是服务器承受的压力，他能够说明系统的负载能力

以不同方式表达的吞吐量可以说明不同层次的问题，例如，以字节数/秒方式可以表示数要受网络基础设施、服务器架构、应用服务器制约等方面的瓶颈；已请求数/秒的方式表示主要是受应用服务器和应用代码的制约体现出的瓶颈。

当没有遇到性能瓶颈的时候，吞吐量与虚拟用户数之间存在一定的联系，可以采用以下公式计算：F=VU * R /

其中F为吞吐量，VU表示虚拟用户个数，R表示每个虚拟用户发出的请求数，T表示性能测试所用的时间

4、性能计数器

是描述服务器或操作系统性能的一些数据指标，如使用内存数、进程时间，在性能测试中发挥着“监控和分析”的作用，尤其是在分析统统可扩展性、进行新能瓶颈定位时有着非常关键的作用。

资源利用率：指系统各种资源的使用情况，如cpu占用率为68%，内存占用率为55%，一般使用“资源实际使用/总的资源可用量”形成资源利用率。

5、思考时间的计算公式

Think Time，从业务角度来看，这个时间指用户进行操作时每个请求之间的时间间隔，而在做新能测试时，为了模拟这样的时间间隔，引入了思考时间这个概念，来更加真实的模拟用户的操作。

在吞吐量这个公式中F=VU * R / T说明吞吐量F是VU数量、每个用户发出的请求数R和时间T的函数，而其中的R又可以用时间T和用户思考时间TS来计算：R = T / TS

下面给出一个计算思考时间的一般步骤：

A、首先计算出系统的并发用户数

C=nL / T F=R×C

B、统计出系统平均的吞吐量

F=VU * R / T R×C = VU * R / T

C、统计出平均每个用户发出的请求数量

R=u*C*T/VU

D、根据公式计算出思考时间

TS=T/R

 

原文永久链接：http://www.ha97.com/5095.html