Kafka学习笔记--Consumer的offset保存在哪里
前言
这两天看Kafka的文档,遇到一个问题,consumer的offset应该如何保存呢?
正文
参考这里:
以前是放在Kafka里面,但是Kafka用作持久化是没问题的,但是用作频繁写并不是太适合,所以,Kafka后来把对offset的保存放在了一个topic里面。
关于这一点,在官网也得到了验证:
存放的位置,这里有提到:
而我查看了本地的目录,看到:
一共有50个目录,根据一个目录一个partition的原则来看,被分成了50个partition。这里有更加详细的介绍。这里就把它当做独立的一个topic来理解,大体就明白了,只是客户端在完成了怎样的工作,这个offset会被提交给这个topic,需要继续研究一下。
总结
通过查阅了多篇文章,基本搞明白了这个概念。这些资料,是通过翻阅了很多篇文章,研究过才筛选出来,里面沉淀了很多时间和功夫,分享出来,以飨别人(来给别的需要的人带来方便)。
参考
https://stackoverflow.com/questions/45686885/how-does-kafka-store-offsets-for-each-topic
http://wanwenli.com/kafka/2016/11/04/Kafka-Group-Coordinator.html
https://cwiki.apache.org/confluence/display/KAFKA/Offset+Management
posted on 2019-12-15 17:06 chaiyu2002 阅读(2752) 评论(0) 编辑 收藏 举报