Level 1 初始

在初始态,测试用例数还是最为关键的度量指标。测试工程师对测试用例设计主要是凭直觉,对测试用例有效性评价比较主观。测试活动主要靠手工测试完成,有少部分测试代码实现的自动化测试,这些自动化测试用例因为没有及时随着伴随系统变更而变更,因此绝大部分是失效状态。每次执行测试用例前,测试工程师都要人工维护测试数据,才能保证测试用例正确执行。

达到Level 1 预期的效率增益:1.3倍


Level 2 敏捷

能够基于风险进行测试,风险覆盖率现在是测试的关键指标。自动化测试聚焦在UI层,但是自动化测试可以通过MBT、UI脚本生成等技术降低自动化测试用例执行的失效比例了。由于测试数据仍旧没有一个全面的TDM(Test Data Mangement),自动化测试仍旧聚焦于新数据对象的验证,对于复杂测试用例管理还是缺失状态。

达到Level 2预期的效率增益:3倍

Level 3 可管理


引入探索测试实践弥补规范化的测试流程无法暴露的缺陷。在自动化测试引入质量保障流程中。如果系统变更以API形式交付,那么API测试就会在发挥质量保障的主导作用。UI自动化测试广泛落地MBT、UI测试脚本自动生成等技术,提高质量效能。自动化测试通过持续集成流水线调用,实现质效合一。

达到Level 3 预期的效率增益:6倍

Level 4 成熟


TDM能够提供自动化测试需要的、连续的、一致的测试数据。 服务虚拟化确保即使依赖组件不稳定或不可用,测试也可以继续进行。 TDM 和服务虚拟化的引入能够支持API测试完成更为复杂的业务逻辑验证,从而实现API层面的E2E的测试,同时可以保障测试用例可以反复有效执行,而不需要维护自动化测试用例和测试数据。 自动化测试可以作为持续交付流水线的一部分反复执行,及时反馈发现的业务风险。

达到Level 5 预期的效率增益:大于10倍

Level 5 卓越


已经建立了全面的测试自动化,在服务虚拟化和测试数据的支持下,可以完成复杂的、有状态业务逻辑模拟。通过度量,持续改进软件测试过程的有效性。测试活动完全集成到持续交付pipeline中。

达到Level 1 预期的效率增益:大于20倍

posted on 2022-10-08 14:25  测者陈磊  阅读(84)  评论(0编辑  收藏  举报