软件质量管理总结
质量体系:
质量体系包含一套专门的组织机构,具备了保证产品或服务质量的人力、物力,还要明确有关部门和人员的职责和权力,以及规定完成任务所必需的各项程序、流程和活动。因此质量体系是一个组织落实有物质保障和有具体工作内容的有机整体。
全程软件测试:
测试分析
包括项目概述、项目业务场景、整体业务分析、详细业务分析、非功能性分析、测试计划、测试方案等等
测试方案和测试计划的区别:
测试计划偏项目,主要内容是任务,时间,人员,设备和风险。
测试方案偏技术,主要内容是需求,分析,设计,实现。
2、软件测试流程:
测试计划需要出测试方案;
测试用例需要进行内审和外审;
3、安全测试学习
成年人的时间都是挤出来的,不主动学习就永远不会有进步
4、性能测试
常用概念:
下面是性能测试的主要概念和计算公式: 一.系统吞度量要素: 一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。 单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。 系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间 QPS(TPS):每秒钟request/事务 数量 并发数: 系统同时处理的request/事务数 响应时间: 一般取平均响应时间 (很多人经常会把并发数和TPS理解混淆) 理解了上面三个要素的意义之后,就能推算出它们之间的关系: QPS(TPS)= 并发数/平均响应时间 一个系统吞吐量通常由QPS(TPS)、并发数两个因素决定,每套系统这两个值都有一个相对极限值,在应用场景访问压力下,只要某一项达到系统最高值,系统的吞吐量就上不去了,如果压力继续增大,系统的吞吐量反而会下降,原因是系统超负荷工作,上下文切换、内存等等其它消耗导致系统性能下降。 决定系统响应时间要素 我们做项目要排计划,可以多人同时并发做多项任务,也可以一个人或者多个人串行工作,始终会有一条关键路径,这条路径就是项目的工期。 系统一次调用的响应时间跟项目计划一样,也有一条关键路径,这个关键路径是就是系统影响时间; 关键路径是有CPU运算、IO、外部系统响应等等组成。 二.系统吞吐量评估: 我们在做系统设计的时候就需要考虑CPU运算、IO、外部系统响应因素造成的影响以及对系统性能的初步预估。 而通常境况下,我们面对需求,我们评估出来的出来QPS、并发数之外,还有另外一个维度:日PV。 通过观察系统的访问日志发现,在用户量很大的情况下,各个时间周期内的同一时间段的访问流量几乎一样。比如工作日的每天早上。只要能拿到日流量图和QPS我们就可以推算日流量。 通常的技术方法:
-
找出系统的最高TPS和日PV,这两个要素有相对比较稳定的关系(除了放假、季节性因素影响之外)
-
通过压力测试或者经验预估,得出最高TPS,然后跟进1的关系,计算出系统最高的日吞吐量。B2B中文和淘宝面对的客户群不一样,这两个客户群的网络行为不应用,他们之间的TPS和PV关系比例也不一样。
软件性能测试的基本概念和计算公式
一、软件性能的关注点
对一个软件做性能测试时需要关注那些性能呢?
我们想想在软件设计、部署、使用、维护中一共有哪些角色的参与,然后再考虑这些角色各自关注的性能点是什么,作为一个软件性能测试工程师,我们又该关注什么?
首先,开发软件的目的是为了让用户使用,我们先站在用户的角度分析一下,用户需要关注哪些性能。
对于用户来说,当点击一个按钮、链接或发出一条指令开始,到系统把结果已用户感知的形式展现出来为止,这个过程所消耗的时间是用户对这个软件性能的直观印象。也就是我们所说的响应时间,当相应时间较小时,用户体验是很好的,当然用户体验的响应时间包括个人主观因素和客观响应时间,在设计软件时,我们就需要考虑到如何更好地结合这两部分达到用户最佳的体验。如:用户在大数据量查询时,我们可以将先提取出来的数据展示给用户,在用户看的过程中继续进行数据检索,这时用户并不知道我们后台在做什么。
用户关注的是用户操作的相应时间。
其次,我们站在管理员的角度考虑需要关注的性能点。
1、 相应时间
2、 服务器资源使用情况是否合理
3、 应用服务器和数据库资源使用是否合理
4、 系统能否实现扩展
5、 系统最多支持多少用户访问、系统最大业务处理量是多少
6、 系统性能可能存在的瓶颈在哪里
7、 更换那些设备可以提高性能
8、 系统能否支持7×24小时的业务访问
再次,站在开发(设计)人员角度去考虑。
1、 架构设计是否合理
2、 数据库设计是否合理
3、 代码是否存在性能方面的问题
4、 系统中是否有不合理的内存使用方式
5、 系统中是否存在不合理的线程同步方式
6、 系统中是否存在不合理的资源竞争
那么站在性能测试工程师的角度,我们要关注什么呢?
一句话,我们要关注以上所有的性能点。
二、软件性能的几个主要术语
1、响应时间:对请求作出响应所需要的时间
网络传输时间:N1+N2+N3+N4
应用服务器处理时间:A1+A3
数据库服务器处理时间:A2
响应时间=N1+N2+N3+N4+A1+A3+A2
2、并发用户数的计算公式
系统用户数:系统额定的用户数量,如一个OA系统,可能使用该系统的用户总数是5000个,那么这个数量,就是系统用户数。
同时在线用户数:在一定的时间范围内,最大的同时在线用户数量。
同时在线用户数=每秒请求数RPS(吞吐量)+并发连接数+平均用户思考时间
平均并发用户数的计算:C=nL / T
其中C是平均的并发用户数,n是平均每天访问用户数(login session),L是一天内用户从登录到退出的平均时间(login session的平均时间),T是考察时间长度(一天内多长时间有用户使用系统)
并发用户数峰值计算:C^约等于C + 3*根号C
其中C^是并发用户峰值,C是平均并发用户数,该公式遵循泊松分布理论。
3、吞吐量的计算公式
指单位时间内系统处理用户的请求数
从业务角度看,吞吐量可以用:请求数/秒、页面数/秒、人数/天或处理业务数/小时等单位来衡量
从网络角度看,吞吐量可以用:字节/秒来衡量
对于交互式应用来说,吞吐量指标反映的是服务器承受的压力,他能够说明系统的负载能力
以不同方式表达的吞吐量可以说明不同层次的问题,例如,以字节数/秒方式可以表示数要受网络基础设施、服务器架构、应用服务器制约等方面的瓶颈;已请求数/秒的方式表示主要是受应用服务器和应用代码的制约体现出的瓶颈。
当没有遇到性能瓶颈的时候,吞吐量与虚拟用户数之间存在一定的联系,可以采用以下公式计算:F=VU * R /
其中F为吞吐量,VU表示虚拟用户个数,R表示每个虚拟用户发出的请求数,T表示性能测试所用的时间
4、性能计数器
是描述服务器或操作系统性能的一些数据指标,如使用内存数、进程时间,在性能测试中发挥着“监控和分析”的作用,尤其是在分析统统可扩展性、进行新能瓶颈定位时有着非常关键的作用。
资源利用率:指系统各种资源的使用情况,如cpu占用率为68%,内存占用率为55%,一般使用“资源实际使用/总的资源可用量”形成资源利用率。
5、思考时间的计算公式
Think Time,从业务角度来看,这个时间指用户进行操作时每个请求之间的时间间隔,而在做新能测试时,为了模拟这样的时间间隔,引入了思考时间这个概念,来更加真实的模拟用户的操作。
在吞吐量这个公式中F=VU * R / T说明吞吐量F是VU数量、每个用户发出的请求数R和时间T的函数,而其中的R又可以用时间T和用户思考时间TS来计算:R = T / TS
下面给出一个计算思考时间的一般步骤:
A、首先计算出系统的并发用户数
C=nL / T F=R×C
B、统计出系统平均的吞吐量
F=VU R / T R×C = VU R / T
C、统计出平均每个用户发出的请求数量
R=uCT/VU
D、根据公式计算出思考时间
安卓测试:
——SDK压测:
客户端需要处理的四种异常日志:java崩溃,native崩溃,ANR,内存溢出
还有一部分异常是第三方数据包的问题:
————客户端崩溃率:
什么是app崩溃率?
安卓的崩溃分为java崩溃和native崩溃;
崩溃率的计算方法: 崩溃次数/全体用户的启动次数;
UV 崩溃率 = 发生崩溃的 UV / 登录 UV
PV 崩溃率、启动崩溃率、重复崩溃率??
手机qq的安卓崩溃率标准:1%,iOS 0.8%
uc的安卓崩溃率为标准0.1%
TCLSDK的崩溃了吧标准是0.5%
电视淘宝的崩溃率目标:万分之一
————客户端ANR(Application Not Responding)
——web接口功能压测
崩溃捕捉工具google-breakpad:https://juejin.cn/post/6899070041074073614
阿里啄木鸟:https://github.com/alibaba/youku-sdk-tool-woodpecker
腾讯热修复工具:https://github.com/Tencent/tinker
5、运维管理总结
运维平台建设:https://www.cnblogs.com/boonya/p/7298135.html
devops能力成熟度模型:
6、数据库建设
7、系统架构建设
权限控制
RBAC、ABAC模型的角色权限管理 RBAC: Role-Based Access Control, 基于角色的权限控制。通过角色关联用户,角色关联权限的方式间接赋予用户权限;角色管理的权限元子化,业务功能越细分,则权限控制越精细; 用户——角色——权限 一个用户可以一个或多个角色; 一个用户可以在一个或多个用户组中; 用户在多个用户组中的权限取并集;
ABAC:
8、流程制度规范
开发团队:
测试产生的P1bug,开发要日清,当日产生的bug,当日要解决
开发写出来的设计文档非常完整,每个表的字段说明以及字段之间的关联都表述的很清楚
开发在写设计文档时,要画出流程图、交互图、时序图
测试团队:
测试团队要熟悉测试需求分析(其中包括测试计划)
权限管理:
-
内部权限管理非常严格
-
内部文档权限
-
内容工具权限
-
数据库查询库表行权限
个人管理:
团队对个人是有要求的,不仅仅是工作,还有对人的习惯,对人的健康状态,对人的认知和意识
学习一定要找方法;
渠道项目管理流程:
一、启动
明确项目目标
明确项目项目个阶段时间点;
明确项目各个环节的对接人;
明确双方的数据对接;
明确双方的测试对接;
明确进度跟踪方法;
明确问题跟踪机制;
确认需要联合评审的需求稳定、技术对接文档、测试用例等等;
二、产品交互设计
确认双方的安全隐私政策资料;
完成产品功能点、完成交互稿设计;
产品验收环节验收;
三、开发
覆盖所有外部和内部场景;
四、测试
了解业务,体验线上功能;
双方确认测试场景;和对方确认测试用例;
测试用例评审;
验证产品功能,没有硬件条件的话,和对方测试共同验证;
将回归case给到对方测试团队;
注意:电话和群沟通,及时推进,一天未响应,及时上报;对方响应后,及时处理,确定处理完成时间;
测试完成封版之后原则上不允许改动;有新的需求排到下一期,bug看是否是严重bug,如果不严重排到下一期;