Kafka学习笔记--Consumer的offset保存在哪里

前言

这两天看Kafka的文档,遇到一个问题,consumer的offset应该如何保存呢?

正文

参考这里

以前是放在Kafka里面,但是Kafka用作持久化是没问题的,但是用作频繁写并不是太适合,所以,Kafka后来把对offset的保存放在了一个topic里面。

关于这一点,在官网也得到了验证:

存放的位置,这里有提到:

而我查看了本地的目录,看到:

一共有50个目录,根据一个目录一个partition的原则来看,被分成了50个partition。这里有更加详细的介绍。这里就把它当做独立的一个topic来理解,大体就明白了,只是客户端在完成了怎样的工作,这个offset会被提交给这个topic,需要继续研究一下。

总结

通过查阅了多篇文章,基本搞明白了这个概念。这些资料,是通过翻阅了很多篇文章,研究过才筛选出来,里面沉淀了很多时间和功夫,分享出来,以飨别人(来给别的需要的人带来方便)。

参考

https://stackoverflow.com/questions/45686885/how-does-kafka-store-offsets-for-each-topic

http://wanwenli.com/kafka/2016/11/04/Kafka-Group-Coordinator.html 

https://cwiki.apache.org/confluence/display/KAFKA/Offset+Management

posted on 2019-12-15 17:06  chaiyu2002  阅读(2752)  评论(0编辑  收藏  举报

导航