小记--------kafka文件存储机制

 

topic是逻辑上的概念，

partition是物理上的概念

 

kafka partition位置

/var/local/kafka/data

 

kafka消息默认保存时间为7天

0000000000.log文件默认值最大为1G， 超过1G 会产生一个新的文件

 

 

 

由于生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，

kafka采取了分片和索引机制。  将每个partition分为多个segment。  每个segment对应两个文件“.index”文件、 “.log”文件。

    这些文件位于一个文件夹下，文件夹命名规则为：topic名称+分区序号   

    .index 和 .log 文件的命名规则就是当前文件的最小offset值（偏移量值）

 

.index文件：只存索引，存的每条消息数据的起始的偏移量信息。

    index中的每条信息存的大小都是固定的，因为只有偏移量信息，所以有利于查找。

 

.log文件：存具体的数据，序列化的数据