使用JMH微基准测试
概述
JMH只适合细粒度的方法测试，并不适用于系统之间的链路测试
使用Maven搭建基准测试项目骨架
JMH官方推荐使用Maven来搭建基准测试的骨架,使用也很简单，使用如下命令来生成maven项目:
mvn archetype:generate -DinteractiveMode=false -DarchetypeGroupId=org.openjdk.jmh -DarchetypeArtifactId=jmh-java-benchmark-archetype -DgroupId=org.sample -DartifactId=jmh-benchmark -Dversion=1.0
上面的maven命令使用了jmh-java-benchmark-archetype来生成java语言的基准测试骨架，如果使用其他语言可以将这个参数对应替换,所有可选参数参考jmh,生成的项目groupId是org.sample,artifaceId是test，执行完之后会在当前目录下生成一个test目录，切换到test目录下执行
mvn clean install就会生成benchmarks.jar,再使用java -jar benchmarks.jar就可以执行基准测试了。
JMH参数配置
如果你想直接在已有maven项目中集成JMH，那也很简单,手动在POM文件中添加以下两个依赖就行了,
<dependency>
<groupId>org.openjdk.jmh</groupId>
<artifactId>jmh-core</artifactId>
<version>1.26</version>
</dependency>
<dependency>
<groupId>org.openjdk.jmh</groupId>
<artifactId>jmh-generator-annprocess</artifactId>
<version>1.26</version>
<scope>provided</scope>
</dependency>
从maven archetype插件生成的pom文件来看，这个工程使用了maven-shade-plugin来将所有的依赖打包到同一个jar包中,并在Manifest文件中配置了Main-Class属性，这样就能直接通过java -jar命令来执行了。
注解说明
@Benchmark
@Benchmark标签是用来标记测试方法的，只有被这个注解标记的话，该方法才会参与基准测试，但是有一个基本的原则就是被@Benchmark标记的方法必须是public的。
@Warmup
@Warmup用来配置预热的内容，可用于类或者方法上，越靠近执行方法的地方越准确。一般配置warmup的参数有这些：
- iterations：预热的次数。
- time：每次预热的时间。
- timeUnit：时间单位，默认是s。
- batchSize：批处理大小，每次操作调用几次方法。（后面用到）
@Measurement
用来控制实际执行的内容，配置的选项本warmup一样。
@BenchmarkMode
@BenchmarkMode主要是表示测量的纬度，有以下这些纬度可供选择：
- Mode.Throughput 吞吐量纬度
- Mode.AverageTime 平均时间
- Mode.SampleTime 抽样检测
- Mode.SingleShotTime 检测一次调用
- Mode.All 运用所有的检测模式 在方法级别指定@BenchmarkMode的时候可以一定指定多个纬度，例如： @BenchmarkMode({Mode.Throughput, Mode.AverageTime, Mode.SampleTime, Mode.SingleShotTime})，代表同时在多个纬度对目标方法进行测量。
@OutputTimeUnit
@OutputTimeUnit代表测量的单位，比如秒级别，毫秒级别，微妙级别等等。一般都使用微妙和毫秒级别的稍微多一点。该注解可以用在方法级别和类级别，当用在类级别的时候会被更加精确的方法级别的注解覆盖，原则就是离目标更近的注解更容易生效。
@State
在很多时候我们需要维护一些状态内容，比如在多线程的时候我们会维护一个共享的状态，这个状态值可能会在每隔线程中都一样，也有可能是每个线程都有自己的状态，JMH为我们提供了状态的支持。该注解只能用来标注在类上，因为类作为一个属性的载体。 @State的状态值主要有以下几种：
- Scope.Benchmark 该状态的意思是会在所有的Benchmark的工作线程中共享变量内容。
- Scope.Group 同一个Group的线程可以享有同样的变量
- Scope.Thread 每隔线程都享有一份变量的副本，线程之间对于变量的修改不会相互影响。 下面看两个常见的@State的写法：
容器测试
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.TimeUnit;
import org.openjdk.jmh.annotations.Benchmark;
import org.openjdk.jmh.annotations.BenchmarkMode;
import org.openjdk.jmh.annotations.Measurement;
import org.openjdk.jmh.annotations.Mode;
import org.openjdk.jmh.annotations.OutputTimeUnit;
import org.openjdk.jmh.annotations.Warmup;
import org.openjdk.jmh.runner.Runner;
import org.openjdk.jmh.runner.RunnerException;
import org.openjdk.jmh.runner.options.Options;
import org.openjdk.jmh.runner.options.OptionsBuilder;
/**
* @copyright: Copyright (c) 2020
* @company: 上海汇石数字科技有限公司
* @description:
* @author: Qi.Hong
* @create: 2020-10-13 12:15
*/
@Warmup(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
@Measurement(iterations = 5, time = 1, timeUnit = TimeUnit.SECONDS)
public class CollectionsTest {
private static final int TEN_MILLION = 10000000;
@Benchmark
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.MICROSECONDS)
public void arrayList() {
List<String> array = new ArrayList<>();
for (int i = 0; i < TEN_MILLION; i++) {
array.add("123");
}
}
@Benchmark
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.MICROSECONDS)
public void arrayListSize() {
List<String> array = new ArrayList<>(TEN_MILLION);
for (int i = 0; i < TEN_MILLION; i++) {
array.add("123");
}
}
public static void main(String[] args) throws RunnerException {
Options opt = new OptionsBuilder()
.include(CollectionsTest.class.getSimpleName())
.forks(1)
.build();
new Runner(opt).run();
}
}
输出：
# JMH version: 1.26
# VM version: JDK 1.8.0_231, Java HotSpot(TM) 64-Bit Server VM, 25.231-b11
# VM invoker: /Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home/jre/bin/java
# VM options: -javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=50693:/Applications/IntelliJ IDEA.app/Contents/bin -Dfile.encoding=UTF-8
# Warmup: 5 iterations, 1 s each
# Measurement: 5 iterations, 1 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op
# Benchmark: org.sample.CollectionsTest.arrayList
# Run progress: 0.00% complete, ETA 00:00:20
# Fork: 1 of 1
# Warmup Iteration 1: 80599.837 us/op
# Warmup Iteration 2: 71816.276 us/op
# Warmup Iteration 3: 84441.683 us/op
# Warmup Iteration 4: 50829.796 us/op
# Warmup Iteration 5: 55140.199 us/op
Iteration 1: 47282.917 us/op
Iteration 2: 46334.255 us/op
Iteration 3: 46759.845 us/op
Iteration 4: 51672.301 us/op
Iteration 5: 47182.892 us/op
Result "org.sample.CollectionsTest.arrayList":
47846.442 ±(99.9%) 8361.853 us/op [Average]
(min, avg, max) = (46334.255, 47846.442, 51672.301), stdev = 2171.547
CI (99.9%): [39484.589, 56208.295] (assumes normal distribution)
# JMH version: 1.26
# VM version: JDK 1.8.0_231, Java HotSpot(TM) 64-Bit Server VM, 25.231-b11
# VM invoker: /Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home/jre/bin/java
# VM options: -javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=50693:/Applications/IntelliJ IDEA.app/Contents/bin -Dfile.encoding=UTF-8
# Warmup: 5 iterations, 1 s each
# Measurement: 5 iterations, 1 s each
# Timeout: 10 min per iteration
# Threads: 1 thread, will synchronize iterations
# Benchmark mode: Average time, time/op
# Benchmark: org.sample.CollectionsTest.arrayListSize
# Run progress: 50.00% complete, ETA 00:00:11
# Fork: 1 of 1
# Warmup Iteration 1: 27515.066 us/op
# Warmup Iteration 2: 24900.710 us/op
# Warmup Iteration 3: 25903.686 us/op
# Warmup Iteration 4: 25160.727 us/op
# Warmup Iteration 5: 24623.791 us/op
Iteration 1: 30331.259 us/op
Iteration 2: 34517.041 us/op
Iteration 3: 34419.362 us/op
Iteration 4: 34507.659 us/op
Iteration 5: 34385.104 us/op
Result "org.sample.CollectionsTest.arrayListSize":
33632.085 ±(99.9%) 7108.603 us/op [Average]
(min, avg, max) = (30331.259, 33632.085, 34517.041), stdev = 1846.082
CI (99.9%): [26523.482, 40740.688] (assumes normal distribution)
# Run complete. Total time: 00:00:22
REMEMBER: The numbers below are just data. To gain reusable insights, you need to follow up on
why the numbers are the way they are. Use profilers (see -prof, -lprof), design factorial
experiments, perform baseline and negative tests that provide experimental control, make sure
the benchmarking environment is safe on JVM/OS/HW level, ask for reviews from the domain experts.
Do not assume the numbers tell you what you want them to tell.
Benchmark Mode Cnt Score Error Units
CollectionsTest.arrayList avgt 5 47846.442 ± 8361.853 us/op
CollectionsTest.arrayListSize avgt 5 33632.085 ± 7108.603 us/op
Process finished with exit code 0
