kafka之消费者消息丢失和重复消费

如果我们对于位移提交控制不好可能出现消息丢失以及消息消息重复的情况

重复消费

消费了数据没有提交offset

比如开启了自动offset提交，consumer默认5s提交一次offset，提交offset 2s之后consumer挂了，此时已经消费了2s的消息，但是因为没有触发5s时间间隔没有告诉kafka已经消费信息，此时再启动consumer broker还是记录的5s自动提交之前的offset 此时会造成消息的重复消费

消息丢失

提交了offset后消费，可能会造成数据漏消费

如果将offset设置为手动提交，当offset被提交时数据还在内存中未处理，此时刚好消费者宕机，但offset已经提交且数据未处理。
此时就算再启动consumer也消费不到之前的数据了，导致了数据漏消费
如果想要consumer精准一次消费，需要kafka消息的消费过程和提交offset变成原子操作，此时需要我们将kafka的offset持久化到其他支持事务的中间件(比如MySQL)

一定程度上解决上述问题的方式

每消费一次提交一次偏移位置