Kafka怎么保证消息不丢失和重复消费
(1)生产者发送消息采用异步回调发送,如果发送失败,我们可以通过回调获取消息信息,可以选择记录日志或者重试,同时生产者也可以设置消息重试机制。
(2)采用broker的复制机制保证消息在broker中不丢失:开启生产者消息确认机制为all,这样的话,当生产者发送消息到了分区之后, 不仅仅只在leader分区保存确认,在follwer分区也会保存确认,只有当所有 的副本都保存确认以后才算是成功发送了消息。
(3)kafka默认采用定期自动提交消费偏移量offset,这样可能会导致消息丢失和消息被重复消费,所以关闭自动提交消费偏移量,当消息消费成功后自己手动提交,这样就能保证消息不丢失和消息不重复消费。
分类:
java / 消息中间件
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 分享4款.NET开源、免费、实用的商城系统
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了