kafka笔记

https://lotabout.me/2018/kafka-introduction/

offset

Kafka是信息交互枢纽

 

kafka集群由broker管理 ：broker1，2，3。。。

 

 

 

 

 

 每个分区表面上只有一个机器

 

同时，用segment进行水平扩展，一个segment对应两个文件（数据文件、索引文件）

http://www.jasongj.com/2015/03/10/KafkaColumn1/

https://mp.weixin.qq.com/s/zxPz_aFEMrshApZQ727h4g

Kafka Offset维护：

为了exactly-once
 https://www.jianshu.com/p/d2a61be73513

 

Offset OutOfRange错误：

由于kafka 生命周期过了 数据被清理 要消费的offset> offsetUntil了

在代码上可以矫正

//currentoffset 、 earliestoffset  leatestOffset
//cur < ear || cur > leaty ==> 矫正-->  ear