kafka如何保证消息不丢失

kafka的结构如下：

 

 

 

一、生产者

 　　1、生产者（Producer）使用send方法 发送消息是异步的，所以可以通过get方法或回调函数拿到调用的结果。如果失败了，可以重试。

　　 重试次数可以稍微大些，比如5次。间隔可以稍微长些。

 

二、消费者：

　　 基础概念：当消息被追加到分区（partition）时，会为其分配一个偏移量（offset）。这个偏移量可以记录consumer消费到这个patition的哪个位置。

　　　　　　　所以：kafka是通过偏移量（offset）来保证消息在某个分区的顺序的。

　　1、解决消费端丢失数据：关闭自动提交offset，等消费者处理完成后再手动提交offset。

　　2、kafka的partition有多副本机制，其中一个为leader，别的称之为follower。消息到了之后先存在leader，follower副本再去leader拉取同步，这样生产者和消费者都只和leader交互，follower副本是leader副本的备份，保证数据存储的安全性。

　　　除此之外如果leader所在的broker挂了，那么会在follower之间选一个leader。