kakfa难题之控制kafka只消费一次

https://www.cnblogs.com/yn-huang/p/11684688.html 转载

通常来讲，kafka可以做到至少消费一次，但是可能会出现多次消费

也可以做到做多消费一次，但是可能会出现数据丢失。

刚好消费一次，必须在至少消费一次基础上，对幂等性进行判断，同时还需手动维护偏移量。主要是利用数据库的唯一主键以及保存相应偏移量做到的。其中最重要的是有rebalance方法需要重写监听器。

这种方案适合用于集群消费，属于比较成熟的生产运用方案。