怎么评估软件上线标准

 

背景

很多项目迭代速度快，对于版本是否上线，是由产品根据当前版本的需求及质量情况而定。但是版本的质量如何衡量呢？作为测试人员，首要任务就是质量保证并反馈质量情况，如果质量标准不能合理衡量，可能会给产品、开发带来质量上的误解，对于用户的体验及产品的留存率都有影响。今天谈谈如何评价一款产品的上线标准。

验收标准

(1) 软件需求分析说明书中定义的所有功能已全部实现，性能指标全部达到要求。
(2) 在验收测试中发现的错误已经得到修改，各级缺陷修复率达到标准
(3) 所有测试项没有残余紧急、严重级别错误。
(4) 需求分析文档、设计文档和编码实现一致。
(5) 验收测试工件齐全（测试计划、测试用例、测试日志、测试通知单、测试分析报告，待验收的软件安装程序。）

缺陷修复率标准

(1) 紧急、严重级别错误修复率应达到100%;
(2) 普通级别错误修复率应达到95%以上;
(3) 优化级别错误修复率应达到60%以上;
注：项目紧急时，普通级别错误修复率达60% 以上；优化级别错误修复率达20% 即可。

服务器运行状态响应指标

(1) cpu% 并发期间最大使用率应不超过70-80%，如有集合点并发可允许短暂接近或到达100& 但大部分不应查过95%;
(2) memery 测试期间保证内存充足可用内存不少于20%;
(3) disk 监控硬盘是否有读写不超过40%;
(4) cpu load average 不应超过cpu 核心数*2 或者不超过cpu 核心数。

软件性能指标

(1) 响应时间（并发下的响应时间）
响应时间又分为：
   1.1 不同页面浏览时候的响应时间
   1.2 点击注册用户时的响应时间
   1.3 登录时的响应时间
   1.4 搜索功能响应时间
   1.5 项目特殊功能响应时间
   注：事物的响应时间又分为最大响应时间、平均响应时间、最小响应时间（验收
可忽略此数） 、90%响应时间。如为B/S 项目可设定验收标准为最大响应时间不
超过20s、平均响应和90%响应不超过10s。
   如为c/s 项目（手机客户端） 可设定为最大响应时间不超过30s、平均响应和90%
响应不超过15s（因为手机网络相对较慢，可以适当加大响应时间） 。

(2) 测试中事物通过率：
一般web 项目通过率为3 个9，设定验收标注为各个事物通过率为99.9%。
(3) 系统能支持的用户量
需要先评估上线后会有多少注册用户和活跃用户
(4) 吞吐量应与hits tps 等数据成正比且波动较小