Kafka 3.x 生产经验

生产经验——分区的分配以及再平衡

Kafka有四种主流的分区分配策略: Range、RoundRobin、Sticky、CooperativeSticky。
可以通过配置参数 partition.assignment.strategy，修改分区的分配策略。默认策略是 Range + CooperativeSticky。Kafka可以同时使用多个分区分配策略。

Range

Range 是对每个 topic 而言的。
首先对同一个 topic 里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。
假如现在有7个分区，3个消费者，排序后的分区将会是 0,1,2,3,4,5,6; 消费者排序完之后将会是C0,C1,C2。
通过 partitions数 /consumer数 来决定每个消费者应该消费几个分区。如果除不尽，那么前面几个消费者将会多消费1个分区。

RoundRobin

RoundRobin 针对集群中所有Topic而言。
RoundRobin 轮询分区策略，是把所有的 partition 和所有的 consumer 都列出来，然后按照 hashcode进行排序，最后通过轮询算法来分配 partition 给到各个消费者。

Sticky

粘性分区定义:可以理解为分配的结果带有"粘性的"。即在执行一次新的分配之前，考虑上一次分配的结果，尽量少的调整分配的变动，可以节省大量的开销。
粘性分区是 Kafka 从 0.11.x 版本开始引入这种分配策略，首先会尽量均衡的放置分区到消费者上面，在出现同一消费者组内消费者出现问题的时候，会尽量保持原有分配的分区不变化。

生产经验——数据积压(消费者如何提高吞吐量)

1）如果是 Kafka 消费能力不足，则可以考虑增加 Topic 的分区数，并且同时提升消费组的消费者数量，消费者数=分区数。（两者缺一不可)
2）如果是下游的数据处理不及时:提高每批次拉取的数量。批次拉取数据过少（拉取数据/处理时间<生产速度），使处理的数据小于生产的数据，也会造成数据积压。