【尼恩】JVM预热，你的方案是啥？

 

转发自：https://blog.csdn.net/crazymakercircle/article/details/132793889
尼恩老法师

 

说在前面
在40岁老架构师尼恩的读者社区(50+)中,最近有小伙伴拿到了一线互联网Q企业如微博、阿里、汽车之家、极兔、有赞、希音、百度、
网易、滴滴 的面试资格,遇到一几个很重要的面试题:

　　· JVM预热,你的方案是啥?
　　· Springboot应用,如何做预热?|

首先,说说JVM预热的重要性

为啥需要JVM预期?
一般情况下,在Java服务刚刚启动,处理的第一个请求的响应速速度,往往会比正常情况下的请求要慢很多,
通常情况下,处理的第一个请求的响应速度,延迟时间会达到几百毫秒,甚至有可能达到1秒。
如果我们的下游调用方服务设定了超时限制,那么在JVM服务刚/启动的阶段,由于响应速度较慢,有很大的可能引发超时异常,影响服务
的正常运行。
极端情况:当突发流量非常大,可能JVM服务一启动,立刻被高流量打死,而且永远也启动不起来,甚至会造成整个系统的雪崩
所以,要做JVM预热。

 

那么,为啥第一次请求慢?

OpenJDK区使用了JIT(Just-in-time)即时编译技术,可以动态把Java字节码编译成高度优化过机器码,提高执行效率,但是,在编译之前,Java代码是以相对低效的解释器模式执行的。
在应用启动完成后、业务流量刚进来的短时间内,容易出现的状况是:
大量Java方法开始被JIT编译,同时业务请求被较慢的解释器模式执行,最终的结果就是系统负载飙高,可能导致很多用户请求超时。
极端情况: 可能JVM服务一启动,立刻被高流量打死

 

JVM预热方案

什么是JVM预热?
预热是指,在JVM启动后,JVM刚启动后,我们并不会立即向向调用方提供正常的流量,而是通过采用一些技术手段,先用较小的流量
对服务进行预热warmup,直到服务能够按照预期的响应时间提供服务为止。
预热方案有目前以下手段:
1、通过流量控制来进行预热
2、在服务启动并正常可供访问之前,可以让服务自行进行预热,具体可以通过以下几种方式实现
3、在发布系统中,我们可以配置一个访问URL列表,让发布系统在服务启动前进行预热

 

1、通过流量控制来进行预热:

1)利用网关的流量控制功能,根据新服务上线的时间,给予不同的访问权重。这样,服务能够逐步达到正常访问的热度,避免因为流量
过大导致服务崩溃。
2)使用sentinel 等组件进行warmup限流,在服务刚上线时,将过高的流量直接拦截,防止对服务造成过大的压力,确保服务的稳定运
3)spring的ribbon组件策略改造,使其流量控制策略与网关的流量控制策略保持一致。这样,可以更好地协调各个组件之间的流量控制
提高服务的预热效果。

 

2、对外服务之前,通过合适的手段提前预热

在服务启动并正常可供访问之前,可以让服务自行进行预热,具体可以通过以下几种方式实现:
设定初始化的预热模块,在服务启动后自行遍历重要的访问接口:
a.服务开发者可以在编写代码时,设计一个初始化预热模块,该核模块在服务启动后会自动执行。
b.在这个初始化模块中,可以编写逻辑来遍历所有的重要访问接口,这样在服务启动后,就能对这些接口进行预热。
C.这种方式能够确保服务在启动后的早期阶段,就对重要的访问问接口进行了遍历,提高了服务的响应速度和稳定性。

2)运用测试工具组件,如Java Microbenchmark Harness(JMH),在服务启动后遍历访问接口:
a.通过使用JMH这样的测试工具组件,可以在服务启动后模拟真实访问请求,对服务进行预热。
b.这种做法有助于在服务启动后迅速遍历所有访问接口,从而持是高服务的响应速度和稳定性。
C.同时,可以利用JMH的性能测试功能,对预热效果进行评估,进一步优化预热策略。

 

3、阿里的开源 项目龙井替换JDK,在服务启动时自动加载应加载的类:

·a.通过使用龙井项目,可以在服务启动时自动加载需要加载的类,从而在服务启动早期对这些类进行预热。
·b.这种方式可以有效地缩短服务启动后的预热时间,提高服务的响应速度和稳定性。
·C.此外,龙井项目还可以实现类加载的优化,例如按需加载、并行加载等,从而提高预热效率。