自动化测试规范:
UI自动化测试(不建议)
接口自动化
- 单接口自动化:100%接口覆盖
- 端对端自动化:覆盖核心主流程
自动化测试策略:
1.左移策略:
- 接口开发设计出来后,测试人员需根据接口的契约信息,提前完成自动化案例编写,
2.做移的前提:
- 开发人员提前提供接口契约。
3.预期收益:
- 提前写好案例,开发移测之后,提前执行,提前发现问题,缩短功能测试时间。
自动化测试框架的选型:
- 自动化矿建推荐:springBoot+testNG的Java框架。
- mock框架
- 自动化造数据
自动化测试案例的编写
自动化测试案例编写需要有4个步骤:数据准备:
- 请求发起
- 结果断言
- 数据清理
- 数据还原
数据准备:
- 数据准备分为线下准备和实时生成:
- 线下准备:(off-line):在编写自动化案例之前已经在测试环境准备好固定的测试数据供自动化测试案例长期使用,注意跟手工测试及联调测试数据需要做好隔离:
- 实时生成数据(on-line):在自动化案例执行之前,通过关联接口,造数据模版,向DB新增/修改记录等方式,实时生成测试数据,供自动化案例单次使用。
此阶段方法需要注解:@BeforeTest 或者@BesforeClass @BeforeMethod来识别。
发起请求:
以下规范:此阶段需要注解@Test来标识,须尊寻一下规范
- 1.接口请求之间独立无依赖关系
- 请求可以重复执行,不受环境限制,数据影响
- 单接口请求,外围系统需要mock
- 测试数据与请求代码解耦,如使用Excel或者json等文件存放
- 有关键日志的打印,辅助问题的定位
接口断言:
- 接口断言需要重点关注
- 接口报文响应码,返回参数的校验
- 数据库,缓存检查
- 会计分录检查(如有)
数据清理/数据还原(可选)
- 清理临时生成的文件,临时生成的测试数据(减少工程大小和磁盘的占用)
- 测试数据状态恢复,后续能重复使用,(如定时任务)
自动还案例执行:
执行方式:
本地执行:
- 本地执行:本地工程编写结束后,即可运行案例
优点:快速高效,及时调试案例和发现问题,方便维护修改 - 缺点:执行案例零散,执行数据没有报表整体体现,另外案例质量无法度量。
持续继承流水线(CI)
- 优点:应用部署完成后,立即触发自动化案例的执行,免人工介入。
执行策略:
版本相关案例:
1.在版本冻结之前,完成相关自动化案例的执行并通过
2.全量回归案例:需要在版本呢封板前,完成所有自动化案例的执行并通过。
案例有效性机制的检查:
检查机制:
- 成立自动化专项测试专家组,按照以上规范对零售团队的自动化工程代码进行抽查,并提出相关的整改建议。
- 对不符合自动化规范的团队,要求指定整改计划,并月度汇报进展及问题。
检查范围:
包括工程命名规范,目录结构,案例分析,字段边界,案例断言,执行通过率等方面。