精准测试探索

一、背景

什么是精准测试？通常研发提测的需求有代码变更，针对研发的代码变更点以及关联点进行测试，我们称之为精准测试。

很多时候，对变更点、影响范围的评估并不是很准确，偶尔会出现影响范围评估不全或者影响范围评估过大的情况。对于影响范围不全，我们所执行的测试用例，就会出现覆盖不全的情况，导致部分功能漏测，进而产生线上问题。对于影响范围过大，我们所执行的用例会过多，占用大量时间来测试完全和本次提测无关的功能，浪费人力物力。因此在这里提出测试精准化。

对于精准化的测试，我们目前做了两部分探索，静态链路分析和增量代码覆盖率分析。

二、静态链路分析

1. 当前解决问题：

部分代码耦合度高，多业务之间存在方法依赖：由于代码框架问题，部分代码可扩展性不强，代码间耦合度高，随着接入的业务线增多，代码间的依赖关系越来越多。一个微小的改动，可能就会影响到其他不相干的业务线，而这种影响由于代码并不会报错，开发人员也无法及时评估到。

本次改动对其他业务线是否有影响，无法准确评估：测试人员一般是根据本次需求改动进行用例编写，无法评估代码的改动是否会影响到其他业务线。所以在用例评审阶段，产品、开发、测试人员均无法准确评估影响范围，这样就可能会导致本次需求上线完成后，等到其他业务发生调用错误，才发现业务被影响到了。

通过改动方法，生成对应上下游方法调用链，查看影响的上下游方法，帮助开发人员分析是否有未考虑到代码影响范围；帮助测试人员检查是否需要补充测试用例

2. 架构设计：

整体项目包括前端UI界面、codeDiff、maven命令打包、静态链路生成、代码注释扫描、执行结果同步等几部分。提供界面化操作，使用者只需要提供应用名称以及提测分支，即可一键生成链路分析报告，包含改动方法数、改动方法关联上下游方法对应链路数，通过分析链路即可快速准确发现本次改动影响范围

架构设计图如下：

3. 使用效果：

截止到目前，风控业务线接入应用5个，评审需求7个，覆盖供应链金融，天盾，鉴权等业务线，后续会有更多业务接入。

三、增量代码覆盖率分析

提到覆盖率统计，我们最先想到的单元测试中的代码覆盖率，这也是通常我们最先接触的，但我们这里要做的是服务端的代码覆盖率，也是能够度量测试用例执行效果的一种统计。

做覆盖率度量的工具有很多，我们这里采用的是开源工具jacoco，也是最常用的工具之一。

首先来看一下，我要做全量代码覆盖率统计，需要哪些步骤：

全量代码覆盖率统计

1. 启动服务

无论是tomcat启动，还是springboot启动，我们都需要修改启动脚本，将JACOCO_AGENT加入到 JAVA_OPTS里，这样我们在启动应用服务的时候，自动加载jacoco agent，并同时开始对我们所测试的服务进行监听，采集被测试类和方法的数据。

JACOCO_AGENT="-javaagent:/export/content/jacocoagent.jar=destfile=/export/content/jacoco/jacoco.exec,append=true,includes=com.*,output=tcpserver,address=0.0.0.0,port=8181"

2. 执行测试用例

3. 生成exec文件

这里的exec文件，就是我们这次执行测试用例所覆盖类、方法的原始数据，通过dump指令来和服务端进行通信来进行采集。

java -jar org.jacoco.cli.jar dump --address 127.0.0.1 --port 8181 --destfile ./jacoco.exec

4. 生成report文件

这里的report文件，就是我们全量的代码覆盖率的jacoco原始报告，通过report指令来生成。

java -jar org.jacoco.cli.jar report jacoco.exec --classfiles D:/workspace/git_code/code-domain/target/classes --sourcefiles D:/workspace/git_code/code-domain/src/main/java --html report --xml jacoco.xml --encoding utf8

需要指定class文件和source文件，对于项目中有多个模块的情况，可以指定多个 classfiles和sourcefiles路径。

这样我们就生成了jacoco原始的代码覆盖率报告，如下：

增量代码覆盖率统计

那么对于增量代码覆盖率统计，我们还需要做哪些事情呢

启动服务、执行测试用例、生成exec文件，这些都不要做任何改变，但是在生成report报告之前，我们需要添加一些步骤：

a. 获取增量代码

通过org.eclipse.jgit.api.Git和org.eclipse.jgit 来对我们所测试分支和master分支进行比对，生成list，看看有哪些类、哪些方法有变更

b. 改造org.jacoco.cli.jar包

在report命令后扩展 --diffCode

	@Option(name = "--diffCode", usage = "input String for diff", metaVar = "<file>")
	String diffCode;

c. 执行report，生成报告

java -jar org.jacoco.cli.jar report jacoco.exec --classfiles D:/workspace/git_code/code-domain/target/classes --sourcefiles D:/workspace/git_code/code-domain/src/main/java --html report --xml jacoco.xml --diffCode '[]' --encoding utf8

这样，我们就生成了只对增量代码进行染色的覆盖率报告。通过报告，我们就可以看出本次提测所修改的代码，是否被我们的测试用例覆盖到，以后我们可以有针对性的补充哪些用例，可以覆盖没有被覆盖的代码。

四、未来规划

目前只做到了静态链路分析以及增量代码覆盖率的统计，后面通过用例的执行生成出动态链路，可以更精准的匹配出用例和链路之间的关系，对于后面我们要做的用例推荐，有着更好的指导意义。

相信精准测试的落地推广，可以更有效的保证我们的测试质量和提高我们的测试效率。

作者：京东科技 闵琦

来源：京东云开发者社区