Rebalance再均衡
Kafka中的rebalance称之为再均衡,是Kafka中确保consumer group下所有的consumer如何达成一致,分配订阅的topic的每个分区的机制。
1、Rebalance触发的时机有:
(1)消费者组中consumer的个数发生变化了。
- 例如有新的consumer加入到消费者组,或者是某个consumer停止了。
(2)订阅的topic个数发生变化
- 消费者可以订阅多个主题,假设当前的消费者组订阅了三个主题,但有一个主题突然被删除了,此时也需要发生再均衡。
(3)订阅的topic分区数发生变化
- topic的分区减少或新增,此时也需要发生再均衡。
2、Reblance的不良影响
- 发生rebalance时,consumer group下的所有consumer都会协调在一起共同参与,Kafka使用分配策略尽可能达到最公平的分配。
- Rebalance过程会对consumer group产生非常严重的影响,rebalance的过程中所有的消费者都将停止工作,直到rebalance完成。
欢迎批评指正,提出问题,谢谢!