kafka消费者重复消费同一个topic
我的需求是我有多个消费者,需要重复消费某一个topic。
场景是sparkstreaming消费kafka数据
在这里sparkstream和kafka都是单节点的集群模式。
同时起两个不同的groupid的应用,发现会发生后起来的应用消费不到数据。
按理来讲不同的groupid属于不同的消费组,不会相互影响。由于是使用的cdh集成的kafka,不知道cdh里的zookeeper管理kafka的数据存在了什么地方,也无从考证kafka消费者的相关信息。
于是修改了创建topic的语句。
之前创建topic的时候都是一份备份,一个分区。
现改成了三个备份三个分区。
结果就能够满足我的需求了,多个应用程序可以重复消费同一个topic了。
这个需要我后面要就下,zookeeper管理kafka 的数据存到了什么地方,已经创建了三个备份三个分区之后,每个分区里的数据是不是一样才使得其能够满足多个应用。
还有个问题就是在其他的机器上,同样是单节点的集群环境,topic及时只是单个备份,指定一个分区对应用不会产生影响,这个现象还有待后续再研究一下。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南