kakfa难题之控制kafka只消费一次
https://www.cnblogs.com/yn-huang/p/11684688.html 转载
通常来讲,kafka可以做到至少消费一次,但是可能会出现多次消费
也可以做到做多消费一次,但是可能会出现数据丢失。
刚好消费一次,必须在至少消费一次基础上,对幂等性进行判断,同时还需手动维护偏移量。主要是利用数据库的唯一主键以及保存相应偏移量做到的。其中最重要的是有rebalance方法需要重写监听器。
这种方案适合用于集群消费,属于比较成熟的生产运用方案。