Kafka 架构模型

1、kafka的架构模型

基于producer  consumer  topic  broker  等的一个基本架

 

kafka的组件介绍

Topic ：消息根据Topic进行归类

Producer：发送消息者

Consumer：消息接受者

broker：每个kafka实例(server)

Zookeeper：依赖集群保存meta信息。

Topics组件介绍

Topic：一类消息，每个topic将被分成多个partition(区)，在集群的配置文件中配置。

partition：在存储层面是逻辑append log文件，包含多个segment文件。

Segement：消息存储的真实文件，会不断生成新的。

offset：每条消息在文件中的位置（偏移量）。offset为一个long型数字，它是唯一标记一条消息。

partition

1、             在存储层面是逻辑append log文件，每个partition有多个segment组成。

2、             任何发布到此partition的消息都会被直接追加到log文件的尾部。

3、             每个partition在内存中对应一个index列表，记录每个segment中的第一条消息偏移。这样查找消息的时候，先在index列表中定位消息位置，再读取文件，速度块。

4、             发布者发到某个topic的消息会被均匀的分布到多个part上，broker收到发布消息往对应part的最后一个segment上添加该消息。

 

 

 

partition分布

1、             partitions分区到不同的server上，一个partition保存在一个server上，避免一个server上的文件过大，同时可以容纳更多的consumer消费,有效提升并发消费的能力。

2、             这个server(如果保存的是partition的leader)负责partition的读写。可以配置备份。

3、             每个partition都有一个server为"leader"，负责读写，其余的相对备份机为follower，follower同步leader数据，负责leader死了之后的接管。n个leader均衡的分散在每个server上。

4、             partition的leader和follower之间监控通过zookeeper完成。

 

 

segment

1、             每个segment中存储多条消息，消息id由其逻辑位置决定，即从消息id可直接定位到消息的存储位置，避免id到位置的额外映射。

2、             当某个segment上的消息条数达到配置值或消息发布时间超过阈值时，segment上的消息会被flush到磁盘，只有flush到磁盘上的消息订阅者才能订阅到

3、             segment达到一定的大小（可以通过配置文件设定,默认1G）后将不会再往该segment写数据，broker会创建新的segment。

 

 

offset

offset是每条消息的偏移量。

segment日志文件中保存了一系列"log entries"(日志条目),每个log entry格式为"4个字节的数字N表示消息的长度" + "N个字节的消息内容";

每个日志文件都有一个offset来唯一的标记一条消息,offset的值为8个字节的数字,表示此消息在此partition中所处的起始位置.

每个partition在物理存储层面,有多个log file组成(称为segment).

segment file的命名为"最小offset".log.例如"00000000000.log";其中"最小offset"表示此segment中起始消息的offset.