kafka消费端速度慢解决方案

一、增加patition数量, 有多少个patition就会启多少个消费者线程去消费,跟消费者服务节点的数量无关,只能patition有关。

二、patition一样的情况下,改为批量消费,一次拉取多条数据,max.poll.records,利用多线程去处理数据,避免单线程处理批量数据时间过长,导致超时。

 

提交方式问题:

enable.auto.commit:

1、默认为true,就是消费到数据就自动提交成功,处理数据出现问题没默认消费成功了

2、重要数据改为false,改为手动提交,consumer.commitSync();

https://blog.csdn.net/shaolong1013/article/details/102978288

posted @   guoyu1  阅读(1157)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示