kafka排查cpu飙高问题

kafka一直报警内存泄漏 cpu标高

 

 用dump打印出所有内存信息,因为kafka不是核心业务,所以使用dump,还有去查看内存很多64k的,线程名是kafka 新建的线程, 

线程池必须要有线程的名称,否则不知道是哪个线程一直在new对象,

结论：
经分析排查，本次 157 服务器 cpu 飙高问题，本质上是由于内存大量占用导致的 GC 进程较多，且垃圾对象久久无法清理回收掉
溯源分析得出，内存占用主要是服务器上存在大量的 kafka-producer-network-thread 线程对象，该对象是由订阅推送服务（SubscribeService）获取金十快讯数据的定时任务所创造的，该定时任务 30s 执行一次，在向 kafka 生产数据时每次都不合理地 new 了新的生产者对象（KafkaProducer），而每一个 KafkaProducer 在构造时底层都会默认创造一个 kafka-producer-network-thread 线程对象和一个缓冲池对象（RecordAccumulator），大量对象产生且 KafkaProducer 未执行 close 操作，导致对象没有及时释放，同时也造成了 RecordAccumulator 中数据积压

解决方案：调整获取金十快讯数据的定时任务中向 kafka 生产数据的逻辑，使用一个单例生产者生产数据

 

 

 简单来说，不应该每次生产数据都去 new 一个 KafkaProducer ，使用一个 KafkaProducer 就可以，在使用一个的情况下，也不需要 close ；造成目前问题的情况是，每次都 new 了新的 KafkaProducer，且都没有 close，不过每次都 new KafkaProducer 本身就不合理

 

跟之前CPU经常报警的原因不一样。 另外，本次也已经把订阅服务的内存调大了一些，以防万一。