kafka的基本概念(1)：

1.概念：

Producer 生产者

Consumer 消费者

Broker 代理

Topic 主题

Partition 分区

 

Consumer 　　　Group 消费者组

controlle 　　　　Kafka核心总控制器

broker 　　　　　代理会去zk上创建 /controlle 临时节点，成功者的为 集群的总控制器controlle

 

消费者 consumer 订阅多个 topic 　　　　【对应多个生产者 producer】

生产者 producer 将消息发布到 topic 　　 【消息到多个 broker 代理中，每个代理存在多个 topic】

 

消费者 到订阅 topic 【topic 多分区 -- 一个topic的分区可以在不同的服务上】

 

采用每个分区多个副本 保障高可用

 

 

 

 

kafka

一个分区的多个副本，

leader副本负责读写请求，

follower副本负责同步，副本在不同的broker中。

leader 副本出现故障，follower重新选举leader副本继续对外提供服务。 -----实现故障转移

 

AR = ISR + OSR;

AR 分区中的所有副本统称为

ISR 所有与 leader 副本保持一定程度同步的副本（包括 leader 副本在内）组成

OSR 与 leader 副本同步滞后过多的副本（不包括 leader 副本）组成

 

 

HW 高水位 表示特定的消息的偏移量offset

解释：LEO 分区 ISR 集合中的每个副本都会维护自身的 LEO ，而 ISR 集合中最小的 LEO 即为分区的 HW，对消费者而言只能消费 HW <<之前>> 的消息

假设高水位HW是6，那么只能拉去 0-5的消息

LEO 下一条 待写入的消息。

 

 

 

 

 

参考博客：

https://blog.csdn.net/weixin_39625586/article/details/110801856