原因： 下午先是收到钉钉告警有一个消费者系统任务积压， 当时以为就是有范围上量没有当回事，后来客服群开始反馈说有客户的数据没有生成。这个时候查看mq的后台，发现任务堆积数量还是很多。 这个时候登录一台消费者系统查看日志，发现OOM
[2022-07-09 16:40:34.640] [ERROR] [org.springframework.amqp.rabbit.RabbitListenerEndpointContainer#0-9] [org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.run:1251]
- Consumer thread error, thread abort. java.lang.OutOfMemoryError: Java heap space at java.lang.String.<init>(String.java:662) at com.alibaba.fastjson.serializer.SerializeWriter.toString(SerializeWriter.java:503) at com.alibaba.fastjson.JSON.toJSONString(JSON.java:760) at com.alibaba.fastjson.JSON.toJSONString(JSON.java:696) at com.alibaba.fastjson.JSON.toJSONString(JSON.java:661) at sun.reflect.GeneratedMethodAccessor169.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.springframework.messaging.handler.invocation.InvocableHandlerMethod.doInvoke(InvocableHandlerMethod.java:171) at org.springframework.messaging.handler.invocation.InvocableHandlerMethod.invoke(InvocableHandlerMethod.java:120) at org.springframework.amqp.rabbit.listener.adapter.HandlerAdapter.invoke(HandlerAdapter.java:50) at org.springframework.amqp.rabbit.listener.adapter.MessagingMessageListenerAdapter.invokeHandler(MessagingMessageListenerAdapter.java:211) at org.springframework.amqp.rabbit.listener.adapter.MessagingMessageListenerAdapter.invokeHandlerAndProcessResult(MessagingMessageListenerAdapter.java:143) at org.springframework.amqp.rabbit.listener.adapter.MessagingMessageListenerAdapter.onMessage(MessagingMessageListenerAdapter.java:132) at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:1569) at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.actualInvokeListener(AbstractMessageListenerContainer.java:1488) at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer$$Lambda$976.0000000000000000.invokeListener(Unknown Source) at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.invokeListener(AbstractMessageListenerContainer.java:1476) at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doExecuteListener(AbstractMessageListenerContainer.java:1467) at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.executeListener(AbstractMessageListenerContainer.java:1411) at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.doReceiveAndExecute(SimpleMessageListenerContainer.java:958) at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.receiveAndExecute(SimpleMessageListenerContainer.java:908) at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$1600(SimpleMessageListenerContainer.java:81) at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.mainLoop(SimpleMessageListenerContainer.java:1279) at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1185) at java.lang.Thread.run(Thread.java:819)
先看第一个重点：Consumer thread error, thread abort.
从错误中就可以明显看出来，问题的原因：是因为消费线程在执行的过程中，出现内存溢出，导致线程和MQ断开链接。最终导致消息堆积的出现，只要解决内存溢出的问题即可。
OOM的问题排查
线程OOM后打印的文件我们用MAT工具排查(公司使用的JDK是openJ9)
从图像上很明显看出那里占用的大部分内存， 有一个超级大的map，继续分析看看map里的内容是谁。
根据类路径去代码中查询为什么会生成这么多对象。
首先找到在那里使用了这个类
这是logback的类，当时使用这个做日志的打印是想打印这个数据的业务流转日志。 单独输出到一个文件中，方便问题的排查。
知道这个类以后再深入查看一下map数据怎么来的
从这里看到使用了final的map并且在调用write的时候获取helper是调用的computeIfAbsent。
computeIfAbsent()
1、首先会判断map中是否有对应的Key；
2.如果没有对应的Key，则会创建一个满足Value类型的数据结构放到Value的位置中；
3.如果有对应的Key，则会操作该Key对应的Value.
在这里就怀疑是不是因为我程序中每次传递的mapper都是新new的。然后就找我调用的方法。
这个类是我用来logback扩展json字段转换用的。 我在构造JsonGenerator的时候每次都是新new ObjectMapper()， 所以会导致map每次比较的时候发现传递的值是不相同的，会new 一个新的放到Map中。最终导致map变的异常大。
修改很简单
