自动化okr

一、全栈自动化大策略：

 

• 全栈下继续围绕稳定性、覆盖率、业务渗透3方面做建设
• 业务渗透部分要做到左侧（增量保障）->右侧（质量兜底）全流程持续建设
• 集成自动化在全栈下全部测试做为owner来建设，开发重心还是在UT，更多是代码维度的覆盖
• 自动化持续集成要继续升级，标准化信息透出、风控升级、闭环过程跟踪

二、核心能力要求及建设规划

1、资产维度

Q3进展	推进周期
稳定性	【要求】Case通过率（以发布准入环节通过率为准）	打标前 >95%，达标后 100%	打标后99% 真实通过率 84%	Q4完成真实通过率治理
覆盖率	【观察】代码覆盖率	-	-	FY24能力建设完备后做透出
	【要求】核心接口覆盖率	>90%	菜鸟整体88%，除数据平台外，业务域基本都已达标
	【要求】核心场景覆盖率	>90%	线上场景样板间 91.5% 各业务线线下覆盖部分覆盖，待统计	FY24 全面线上化推进

说明：

• 全栈下测试要大力做好自动化建设，同时自动化作为测试的核心服务提供，所以全流程自动化测试支持，主要做集成的接口、场景覆盖；代码维度主要由开发UT来推进，所以这块代码覆盖不做要求，可以作为辅助数据做观察
• 场景覆盖部分，当前线上化Q3样板间试点，但各业务线也有域内场景梳理及测试覆盖度量标注，按照核心故障场景和核心链路覆盖

2、渗透维度

基于全栈，沉淀自动化从左侧->右侧管控模式，同时逐步完成线上能力建设，过程指标如下：

Q3进展	推进周期
左移（增量建设	【推荐】提测渗透率	>85%	87.4%
	【要求】提测准入成功率	打标前>95% 打标后100%	打标后97% 打标前91%	Q4完成真实通过率治理
	【观察】增量代码覆盖	-	当前基础底层能力建设中
	【要求】增量核心接口覆盖率	>90%	-	FY24 推进左移
	【要求】增量核心场景覆盖率	>90%	-	FY24 推进左移
右移（质量兜底）	【要求】发布准入渗透率	>95%	菜鸟整体90.2%，除客户体验、物流科技均已达标
	【要求】发布准入成功率	打标前>95% 打标后100%	打标后99% 真实通过率 84%	Q4完成真实通过率治理

PS：渗透率维度当前要求为核心应用维度

说明：

• 渗透部分右侧质量兜底能力当前建设比较好，大家也已基本形成心智
• 左侧增量建设部分薄弱，部分业务线有左移推进，但平台配套能力、横向相关建设策略和机制维度都还欠缺

3、能力维度

Q3进展	推进周期
覆盖率	接口覆盖率	接口标注、度量能力已比较成熟
	场景覆盖率	场景构建、标准、排查、度量能力完成；能力高可用、准确性趋于稳定 场景业务渗透闭环链路部分交付	Q4完成闭环能力整体交付
业务渗透-持续交付能力	强表达-持续集成过程的通过率、覆盖率数据标准化、结构化在过程透传	优化迭代中 Q3第一版优化完成，待UAT 信息透出主要是通过率（核心是信息结构化、不同维度、环境的信息的聚合） 覆盖率相关数据，场景维度已交付	Q4完成所有迭代
	风控能力-关键环节卡点能力标准化、支持任务维度、自动适配环境（比如提测环节，哪个环境提测，即展示对应环境的自动化数据）	Q4待建设	期望Q4完成，但有风险
	左移支撑-代码分析能力->增量接口/场景推荐->case覆盖->数据跟踪	-	FY24配合业务左移推进
3大件	流程编排	这部分能力已比较成熟
	引流回放	重构青龙模式的单应用引流回放主体流程上线，当前在企业智能2个应用接入试用中	Q4完成单应用引流回放的全流程 FY24-S1原青龙下线，存量业务平滑迁移到神舟3.0

说明：

• 随着全栈推进，持续交付部分的能力升级要加快，这块当前进展有风险
• 基础3大件部分要持续做提升，核心诉求是让用户可以高效完成自动化建设，平台是提效的助力，不成为阻力

4、人员维度

当前情况	推进周期
开发	主要还是测试主导做自动化测试； 各域均有域内自动化专家角色 开发当前还主要处于执行阶段，少部分会进行基本问题排查或THUB接口用例编写	FY24配合全栈，完成开发基础能力培训，配合职责明确
测试	参考专项人才发展指引

说明：

• 后续全栈下建议是测试owner集成测试，开发专注UT，所以集成测试部分对开发要求主要在问题排查定位，但可以有开发自动化能力的一个水位评判

5、水位度量

L1	L2	L3	L4	L5
差	一般	良好	优秀	卓越
【覆盖率】无覆盖率度量 【稳定性】稳定性不高 【业务渗透】业务交付过程无度量 【平台能力】全人工测试，由人工全权操作执行测试过程 【人】部分测试工程师具备基础自动化能力	【覆盖率】有覆盖率度量，覆盖不高 【稳定性】持续提升稳定性 【业务渗透】交付过程有度量，有部分渗透，主要在右侧兜底部分 【平台能力】开始尝试机器辅助部分用例的构建、执行等 【人】有自动化高级人才出现，但主要还是在测试工程师中	【覆盖率】持续建设覆盖率，开始分层自动化覆盖建设，部分维度覆盖率到较高水位（不分满足要求） 【稳定性】稳定性水位达到较高水位（>95%） 【业务渗透】开始全流程渗透，从右侧兜底逐步到测试左移，并且有最佳实践产出 【平台能力】特定场景机器预测意图，并完成Case的构建、执行、验证等 【人】自动化为必备技能，开始引入自动化人才体系，且人群开始延伸到开发	【覆盖率】分层覆盖度高（均满足覆盖要求） 【稳定性】稳定性水位达到较高水位（>95%） 【业务渗透】全流程渗透已比较成熟，能支撑持续交付，持续发现问题。 【平台能力】 大部分场景机器预测意图，并智能完成Case的构建、执行、验证等 【人】成熟的自动化人才指引体系及组织阵营	【覆盖率】业界高水平的自动化度量、覆盖率高 【稳定性】稳定性水位达到较高水位（>95%） 【业务渗透】全流程自动化的渗透，支持随测随发 【平台能力】 业界高自动化平台能力，全自动化测试 【人】代表业界自动化高水位

说明：

1、能力建设部分：各域全栈自动化能力建设部分主要根据【覆盖率】【稳定性】【业务渗透】3方面来做评判，看业务线，是否处于成熟水位；

2、随着全栈推进，测试资源释放，并且定位到全流程自动化建设，预期全流程自动化渗透会推进较快（加大自动化左移）

3、能力建设部分，后续重点还是要着力于用户体验，让用户可以高效的完成Case构建、执行、问题定位排查等闭环操作

三、Q4 OKR

【业务渗透】完成风控能力升级，关键环节卡点能力标准化、支持任务维度设置、自动适配环境；各关键环节真实通过率治理完成，通过率>95%

【场景建设】场景闭环能力建设完成，保证场景覆盖率的报告90%以上在5min内产出，问题排查配套能力完善、使用成本低，Q4结束具备可在全菜鸟大规模应用的能力；双菜样板间场景模式使用成熟，域内90%的业务变更试行该模式，并沉淀稳定、可推广自动化测试模式；

【引流回放】面向单应用探索确定性的轻量引流能力（引流步骤从20步下降到5步以内），支撑核心应用场景包括场景驱动的用例&用例集管理、快速启动采集&回放，在企业智能&裹配完成试点接入验证，并完成海外本地物流能力输出；

【最佳实践】各域样板间继续按照策略推进域内自动化建设，一个S沉淀高质量可推广自动化测试模式；横向定义全栈模式下自动化测试模式，基于模式明确业务、平台建设重点，为FY24全域全栈做好准备

【自动化运营】发布自动化管理规范、完成核心能力体验宣导会、继续推进质荟爱分享-自动化系列、运营月度自动化疾飞榜等形式加强研发、测试自动化强心智

四、问题及风险

• 随着全栈推进，持续交付部分的能力升级要加快，这块当前进展有风险 
• 全流程自动化业务侧的建设（特别是左移部分）的推进节奏和各域全栈的推进节奏密切相关，需要各域明确全栈节奏，在这之下，左移的覆盖范围和节奏会更明确
• 当前除了3搭建，case也有承接在别的平台，比如itest、天启、暴雪等，如果后续线上化度量，这部分需要决策是兼容还是迁移