kafka消息系统-Net下Confluent.Kafka 参数解释

在使用Confluent.Kafka消费数据的时候,有四个参数需要输入:

  • { "group.id", "test-consumer-group" },
  • { "bootstrap.servers", "localhost:9092" },
  • { "auto.commit.interval.ms", 5000 },
  • { "auto.offset.reset", "earliest" }


这里分别解释下他们的含义:
group.id 消费者分组id
同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但多个Consumer Group可同时消费这一消息。这是Kafka用来实现一个Topic消息的广播(发给所有的Consumer)和单播(发给某一个Consumer)的手段,一个Topic可以对应多个Consumer Group。如果需要实现广播,只要每个Consumer有一个独立的Group就可以了。要实现单播只要所有的Consumer在同一个Group里。用Consumer Group还可以将Consumer进行自由的分组而不需要多次发送消息到不同的Topic。

bootstrap.servers:kafka集群消费地址
auto.commit.interval.ms:consumer向zookeeper提交offset的频率,单位是毫秒
auto.offset.reset:具体参数含义如下:

  • earliest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
  • latest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
  • none:topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常
  • 详细每个auto.offset.reset参数参考下面的blog:

原文:https://blog.csdn.net/xinlingjun2007/article/details/80349963

posted @ 2019-02-27 11:33  读喜爱  阅读(552)  评论(0编辑  收藏  举报