kafka的消费

 

1、消费方式

　　consumer 采用 pull（拉） 模式从 broker 中读取数据。
　　push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。
　　它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息，尚硅谷大数据技术之 Kafka典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适当的速率消费消息。

 

　　pull 模式不足之处是，如果 kafka 没有数据，消费者可能会陷入循环中， 一直返回空数据。 针对这一点， Kafka 的消费者在消费数据时会传入一个时长参数 timeout，如果当前没有数据可供消费， consumer 会等待一段时间之后再返回，这段时长即为 timeout。

2、分区分配策略

　　一个 consumer group 中有多个 consumer，一个 topic 有多个 partition，所以必然会涉及 到 partition 的分配问题，即确定那个 partition 由哪个 consumer 来消费。

　　 Kafka 有两种分配策略，一是 RoundRobin，一是 Range。

　　RoundRobin ：

　　　　RoundRobin 轮询分区策略，是把所有的 partition 和所有的 consumer 都列出来，然后按照 hascode 进行排序，最后通过轮询算法来分配 partition 给到各个消费者。

 

　　Range：

　　　　Range 范围分区策略是对每个 topic 而言的。首先对同一个 topic 里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。假如现在有 10 个分区，3 个消费者，排序后的分区将会是0,1,2,3,4,5,6,7,8,9；消费者排序完之后将会是C1-0,C2-0,C3-0。通过 partitions数/consumer数 来决定每个消费者应该消费几个分区。如果除不尽，那么前面几个消费者将会多消费 1 个分区。

 

 

 

 图是消费者C1、C2和topicA和B，

RoundRobin ：已消费组为单位消费的，所有分片组合排序，然后轮询
　　一下是消费者消费的分片
　　组1消费者A：A0,B1,B2
　　组1消费者B：A1,B0
　　组2消费者C：A2
　　或者
　　组1消费者A：A0,A1
　　组1消费者B：B0,B1,B2
　　组2消费者C：A2
　　　　所有会出现，同一个消费者取到的可能出现是同一个分片的数据，导致分发数据不均匀

 

Range：按照主题去平均分
　　组1消费者A：A0,A1
　　组1消费者B：B0,B1,B2,A2
　　组2消费者C：A0、A1、A2

 

3 offset 的维护

　　由于 consumer 在消费过程中可能会出现断电宕机等故障，consumer 恢复后，需要从故 障前的位置的继续消费，所以 consumer 需要实时记录自己消费到了哪个 offset，以便故障恢 复后继续消费。

　　 Kafka 0.9 版本之前，consumer 默认将 offset 保存在 Zookeeper 中，从 0.9 版本开始， consumer 默认将 offset 保存在 Kafka 一个内置的 topic 中，该 topic 为__consumer_offsets。

 

 

4、Zookeeper 在 Kafka 中的作用

　　　　Kafka 集群中有一个 broker 会被选举为 Controller，负责管理集群 broker 的上下线，所 有 topic 的分区副本分配和 leader 选举等工作。 Controller 的管理工作都是依赖于 Zookeeper 的。 以下为 partition 的 leader 选举过程：