自动化建设度量
一、核心能力及建设要求
1、资产维度
资产维度更多是在Case构建维度，如何构建出高质量自动化，主要从稳定性和覆盖率维度做引导；
- 稳定性：希望能引导工程师关注测试用例执行结果，不断提升测试用例的可执行性和代码逻辑的正确性，用例执行通过率越高越好；
- 覆盖率：希望能引导工程师通过用例尽可能全面的覆盖业务逻辑，通过不断提升不同维度的覆盖率水位，进而构筑代码质量的兜底守护线。覆盖率高不能完全说明代码质量高，但覆盖率低意味着代码质量存在一定程度的问题。
|
指标定义 |
|||
|
稳定性 |
【要求】Case通过率 |
>90% |
|
|
覆盖率 |
【观察】代码覆盖率 |
- |
|
|
【要求】核心接口覆盖率 |
>95% |
||
|
【要求】核心场景覆盖率 |
>90% |
说明:
- case通过率取发布准入环节真实通过率
2、业务渗透维度
如果做自动化测试我们只是为了高覆盖率、高稳定性这只是数字而已，我们真正要做的是用好自动化，让自动化能渗透变更各个环节，沉淀自动化从左侧->右侧全流程渗透模式，让工程师在过程中看到自动化价值，增强信心。
|
指标定义 |
|||
|
左移（增量建设 |
【观察】提测渗透率 |
>85% |
|
|
【要求】提测准入成功率 |
100% |
||
|
【观察】增量代码覆盖 |
- |
||
|
【要求】增量核心接口覆盖率 |
>90% |
||
|
【要求】增量核心场景覆盖率 |
>90% |
||
|
右移（质量兜底） |
【要求】发布准入渗透率 |
>95% |
|
|
【要求】发布准入成功率 |
100% |
说明：
- 渗透率维度当前要求为核心应用维度
- 准入通过率包含打标后的整体通过率（部分情况下紧急发布，考虑到效率问题，某些成本高的失败case可以通过人工打标确认，排除风险）
- 自动化大盘地址https://iwatch.cainiao-inc.com/#/dashboard/fbi/1096973
二、自动化度量
1、菜鸟卓越自动化指标体系
2、自动化综合水位分析
- 客观指标体系的数据和菜鸟卓越指标集一一对齐
- 自动化分按照菜鸟卓越体系，自动化专项总分满分10分来划定
- 全栈下自动化成熟度可参照L1~L5的成熟度划分，主要看覆盖率、稳定性、业务渗透；菜鸟自动化水位建议加上平台能力、人部分的评定
|
成熟度 |
L1 （差） |
L2 （一般） |
L3 （良好） |
L4 （优秀） |
L5（卓越） |
|
自动化分 |
Score<2.5分 |
2.5=<Score<5 |
5=<Score<7.5 |
7.5=<Score<8.5 |
8.5=<Score |
|
综合描述 |
【覆盖率】无覆盖率度量，覆盖率不高 【稳定性】稳定性不高 【业务渗透】业务交付过程无度量 【平台能力】全人工测试，由人工全权操作执行测试过程 【人】部分测试工程师具备基础自动化能力 |
【覆盖率】有覆盖率度量，覆盖不高 【稳定性】稳定性不高，持续提升稳定性 【业务渗透】交付过程有度量，有部分渗透，主要在右侧兜底部分 【平台能力】开始尝试机器辅助部分用例的构建、执行等 【人】有自动化高级人才出现，但主要还是在测试工程师中 |
【覆盖率】持续建设覆盖率，开始分层自动化覆盖建设，部分维度覆盖率到较高水位（部分满足建设要求） 【稳定性】稳定性水位达到较高水位（>90%） 【业务渗透】开始全流程渗透，从右侧兜底逐步到测试左移，并且有最佳实践产出 【平台能力】特定场景机器预测意图，并完成Case的构建、执行、验证等 【人】自动化为必备技能，开始引入自动化人才体系，且人群开始延伸到开发 |
【覆盖率】分层覆盖度高（均满足建设要求） 【稳定性】稳定性水位达到高水位（>95%） 【业务渗透】全流程渗透已比较成熟，能支撑持续交付，持续发现问题。 【平台能力】 大部分场景机器预测意图，并智能完成Case的构建、执行、验证等 【人】成熟的自动化人才指引体系及组织阵营 |
【覆盖率】业界高水平的自动化度量体系、覆盖率高 【稳定性】稳定性水位达到高水位且持续稳定（>95%） 【业务渗透】全流程自动化的渗透，支持随测随发 【平台能力】 业界高自动化平台能力，全自动化测试 【人】代表业界自动化高水位 |
