性能测试之需求开发

以下内容大多来自jackei的博客,只是整理了下,增加了自己的理解。

一个实际的例子:

 某证券行业系统中某个业务的实际需求

        1、系统总容量达到日委托6000万笔,成交9000万笔

       2、 系统处理速度每秒7300笔,峰值处理能力达到每秒10000笔

        3、实际股东帐号数3000万

 从上面例子中可以看出几个明确的需求:

        1、最佳并发用户数需求:每秒7300笔

        2、最大并发用户数需求:峰值处理能力达到每秒10000笔         

        3、基础数据容量:实际股东帐号数3000万

        4、业务数据容量:日委托6000万笔,成交9000万笔——可以根据这个推算出每周、每月、每年系统容量的增长模型

 

什么是“有效的”性能需求?

要想获得有效的性能需求,就要先了解什么样的需求是“有效的”。有效的性能需求应该符合以下三个条件。

1、 明确的数字,而不是模糊的语句。

结合上面的例子来看,相信这个应该不难理解。但是有的时候有了数字未必就不模糊。例如常见的一种需求是“系统需要支持5000用户”,或者“最大在线用户数为8000”。这些有数字的需求仍然不够明确,因为还需要考虑区分系统中不同业务模块的负载,以及区分在线用户和并发用户的区别。

2、有凭有据,合理,有实际意义。

       通常来说,性能需求要么由客户提出,要么由开发方提出。对于第一种情况,要保证需求是合理的,有现实意义的,不能由着客户使劲往高处说,要让客户明白性能是有成本的。对于第二种情况,性能需求不能简单的来源于项目组成员、PM或者测试工程师的估计或者猜测,要保证性能需求的提出是有根据的,所使用的数据和计算公式是有出处的。

3、相关人员达成一致。

       如果相关人不能对性能需求达成一致,可能测了也白测——特别是在客户没有提出明确的性能需求而由开发方提出时。这里要注意“相关人员”的识别,通常项目型的项目的需要与客户方的项目经理或负责人进行确认,产品型的项目需要与直属领导或者市场部进行确认。如果实在不知道该找谁确认,那就把这个责任交给你的直属领导。

 

如何获得有效的性能需求:

1、 客户方提出

       这是最理想的一种方式,通常电信、金融、保险、证券以及一些其他运营商级系统的客户——特别是国外的客户都会提出比较明确的性能需求。

2、根据历史数据来分析

       根据客户以往的业务情况来分析客户的业务量以及每年、每月、每周、每天的峰值业务量。如果客户有旧的系统,可以根据已有系统的访问日志,数据库记录,业务报表来分析。要特别注意的是,不同行业、不同应用、不同的业务是有各自的特点的。例如,购物网站在平时的负载主要集中在晚上,但是节假日时访问量和交易量会是平时的数倍;而地铁的售票系统面临的高峰除了周末,还有周一到周五的一早一晚上下班时间。

3、参考历史项目的数据

      如果该产品已有其他客户使用,并且规模类似的,可以参考其他客户的需求。例如在线购物网站,或者超市管理系统,各行业的进销存系统。

4、参考其他同行类似项目的数据

      如果本企业没有做过类似的项目,那么可以参考其他同行企业的公布出来的数据——通常在企业公布的新闻或者成功解决方案中会提到,包括系统容量,系统所能承受的负载以及系统响应能力等。

5、参考其他类似行业应用的数据

       如果无法找打其他同行的数据,也可以参考类似的应用的需求。例如做IPTV或者DVB计费系统的测试,可以参考电信计费系统的需求——虽然不能完全照搬数据,但是可以通过其他行业成熟的需求来了解需要测试的项目有哪些,应该考虑到的情况有哪些种。

6、参考新闻或其他资料中的数据

       最后的一招,特别是对于一些当前比较引人关注的行业,涉及到所谓的“政绩”的行业,通常可以通过各种新闻媒体找到一些可供参考的数据,但是需要耐心的寻找。例如我们在IPTV和DVB系统的测试中,可以根据新闻中公布的各省、各市,以及国外各大运营商的用户发展情况和用户使用习惯来估算系统容量和系统各个模块的并发量。

 

性能测试点选取:

     发生频率非常高的(例如:某邮箱核心业务系统中的登录、收发邮件等业务,它们在每天的业务总量中占到90%以上)

     关键程度非常高的(产品经理认为绝对不能出现问题的,如登录等)

     资源占用非常严重的(导致磁盘I/O非常大的,例如某个业务进行结果提交时需要向数十个表存取数据,或者一个查询提交请求时会检索出大量的数据记录)

 

需求获取的小例子:

      去年全年处理“WEB登录”交易约 100 万笔,考虑到 3 年后交易量递增到每年 200万笔。

  假设每年交易量集中在 8 个月,每个月 20 个工作日,每个工作日 8 小时,试采用 80~20 原理估算系统服务器高峰期“WEB登录”的交易吞吐量应达到怎样的一个处理能力 

  200万/8=25万/月

  25万/20=1.25万/日

  1.25万*80%/(8*20%*3600)=1.74TPS

 

关于性能需求的一点补充:

       在软件开发过程中,需求管理要远远简单于需求开发,CMMI中也体现了这一点,并且实际工作中也常常需要我们为客户来开发这部分的性能需求。
还希望你能考虑一下,如何根据客户的实际使用或粗线条的性能要求来开发满足客户需要的性能需求来。就拿例子来说,客户告诉我们“系统总容量达到日委托6000万笔,成交9000万笔;系统处理速度每秒7300笔,峰值处理能力达到每秒10000笔”,那我们将客户的这个要求管理起来并实现了这一点,这叫需求管理;而如果我们根据以下2个假设:
1、采用2/8比例,即80%的业务在20%的峰值时间内完成,20%的业务在80%的非峰值时间内完成,那么我们可以得到峰值处理业务量1.5亿的80%为1.2亿,非峰值处理业务量1.5亿的20%为3000万;
2、1天系统运行时间为20小时,另4小时为非营业的后台处理时间,那么峰值时间20小时的20%为4小时,非峰值时间20小时的80%为16小时。

我们可以计算到:
3、平均峰值处理速度1.2亿/4*3600秒接近9000个/秒;
4、平均非峰值处理速度3000万/16*3600秒约500个/秒;
       考虑到特殊情况的发生,我们建议实际峰值处理速度要能达到理论计算的平均峰值处理速度的1.5到2倍,所以最终确定下来的建议峰值处理速度为9000个/ 秒*2=18000个/秒。我们拿这个结果向客户说明,告诉他们原来的需求很可能在发生特殊情况时无法有效处理,客户最终接受了我们的说法并调整了他们的需求。
这叫需求开发,通过分析修正了客户的不合理需求,满足了他们最根本的需要“系统总容量达到日委托6000万笔,成交9000万笔”,而处理速度是他们根据自己的需要估算出来的,并不准确。
       所谓需求开发,也就是根绝客户的核心需求,为客户设计完整的需求体系,甚至根据客户的业务发展需要,为客户设计核心需求和需求体系。

 

posted @ 2014-11-08 12:54  silenceer  阅读(708)  评论(0编辑  收藏  举报