Rebalance再均衡

Kafka中的rebalance称之为再均衡,是Kafka中确保consumer group下所有的consumer如何达成一致,分配订阅的topic的每个分区的机制。

1、Rebalance触发的时机有:

(1)消费者组中consumer的个数发生变化了。

  • 例如有新的consumer加入到消费者组,或者是某个consumer停止了。

(2)订阅的topic个数发生变化

  • 消费者可以订阅多个主题,假设当前的消费者组订阅了三个主题,但有一个主题突然被删除了,此时也需要发生再均衡。

(3)订阅的topic分区数发生变化

  • topic的分区减少或新增,此时也需要发生再均衡。

2、Reblance的不良影响

  • 发生rebalance时,consumer group下的所有consumer都会协调在一起共同参与,Kafka使用分配策略尽可能达到最公平的分配。
  • Rebalance过程会对consumer group产生非常严重的影响,rebalance的过程中所有的消费者都将停止工作,直到rebalance完成。
posted @ 2021-07-23 23:31  Eleanor123  阅读(50)  评论(0编辑  收藏  举报