Kafka集群

2、kafka副本集

kafka副本集是指将日志复制多份

kafka可以为每个Topic设置副本集

Kafka可以通过配置设置默认副本集数量。

 

3、集群概念介绍

Broker： 一般指Kafka的部署节点

Leader： 用于处理消息的接收和消费等请求。

Follower：主要用于备份消息数据。

Kafka拓扑结构图：

 

 

4、Kafka节点故障

Kafka与zookeeper心跳未保持视为节点故障。

follower消息落后leader太多也视为节点故障。（如leaer有10000条，follow二有9000条，相差1000条，任务是故障状态）

kafka会对故障节点进行移除。

 

5、kafka节点故障处理

kafka基本不会因为节点故障而丢失数据

kafka的语义担保也很大程度上避免数据丢失。

kafka会对消息进行集群内平衡，减少消息在某个节点热度过高。

 

6、kafka集群之Leader选举

kafka并没有采用多数投票来选举leader

kafka会动态维护一组leader数据的副本（ISR）

kafka会在ISR中选择一个速度比较快的设为leader

 

 

 

 

Leader选举配置建议

禁用“unclean leader"选举

手动指定最小ISR