kafka遇到的bug(待解决)
kafka遇到的bug(待解决)
1.场景
有个项目版本v1,kafka版本较老,对项目进行了升级,开发出项目版本v2。项目使用kafka多线程消费,v1使用的消费者组为A.为了验证升级后的代码的正确性,新开了两个消费者组B、C,A、B、C三个消费者组消费同一个topic,消费者组B创建了有半个多月了,C今天创建的。在验证过程中遇到了一下问题:
2.问题
1)消费者组报错不存在
Consumer group "C" does not exist.
这个报错查到的资料都说是没有进行消费,但是我十分确定消费者组C消费过N次了,查看消费情况都会提示不存在。
2)消费者组报错没有活跃成员。
Consumer group 'B' has no active members
网上资料也是说没有进行消费,我也确认过消费很久了。
3) 实际有消费,offset无变动的问题。
这里面包含好几个问题:
第一个是无论我用latest还是earliest消费,在实际有消费数据的前提下,我用命令行 ./kafka-consumer-groups.sh --new -consumer --bootstrap-server kafka1:9092 --describe --group B 查看偏移量的时候,偏移量不会改变。
第二个问题是我停掉项目,offset改为earliest再启动,在不发送消费数据的前提下,项目自动消费以前的数据,大多是重复消费。 用命令行查看偏移量的时候,偏移量不会改变。
第三个问题是我停掉项目,offset改为latest在启动,如果不发送消费数据,项目无异常,但是如果我发送消费数据,确认数据已经发送完,但是没有被消费完,(举个栗子,我发送了500条数据,确认已经发送完,确认只消费了200条,还有300条没有消费),此时我停止项目,再启动,正常情况应该是继续消费那300条数据,但是真实情况是300条再也没有被消费,offset 显示有两条未消费(正常应该显示300条),数据就这样丢失了。
以上问题尚未找到问题所在。
posted on 2022-04-13 11:19 Chaos2018 阅读(1360) 评论(0) 编辑 收藏 举报