kafka

topic 是一个逻辑的概念 ，partition是一个物理的概念 ，每一个partition对应一个log文件

 

index文件的内容 ， offset 值和 position 值

 

 

 

分区：

kafka分区的作用个人觉得就是提供一种负载均衡的能力

 

所谓分区策略是决定生产者将消息发送到哪个分区的算法

分区策略：

1. 轮询策略 
也称 Round-robin 策略，即顺序分配。比如一个主题下有 3 个分区，那么第一条消息被发送到分区 0，第二条被发送到分区 1，第三条被发送到分区 2，以此类推。当生产第 4 条消息时又会重新开始，即将其分配到分区 0，就像下面这张图展示的那样。

2. 随机策略

也称 Randomness 策略。所谓随机就是我们随意地将消息放置到任意一个分区上，如下面这张图所示。

3. 按消息key 比如部门ID 

 

 

 

 

 

比如：要查找绝对offset为7的Message：

1、用二分查找确定它是在哪个LogSegment中，自然是在第一个Segment中。
2、打开这个Segment的index文件，也是用二分查找找到offset小于或者等于指定offset的索引条目中最大的那个offset。自然offset为6的那个索引是我们要找的，通过索引文件我们知道offset为6的Message在数据文件中的位置为9807。
3、打开数据文件，从位置为9807的那个地方开始顺序扫描直到找到offset为7的那条Message。
————————————————
版权声明：本文为CSDN博主「从0到1哦」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_38653290/article/details/84864708

 

 

kafka 消息保证策略：

 

 

 

 

 

 

 

 

 

 

 

1. 卡夫卡的存储机制

每个partition对应一个log文件 ，log文件中存储的是producer生成的数据, produce 生成的数据不断追加到log的末端. 而且每条数据都有自己的offet ，

一个topic 对应多个parttion ，partition下面有多个log文件

 

 

 

2. 卡夫卡的分区策略

 

 

 

 3 卡夫卡数据可靠性保证 

 

Leader 维护了一个动态的ISR  （in-sync-replica set ）当isr中的follower 完成同步之后，leader就会给foller发送ack, 如果follower 长时间未发送同步信息， 则follower被踢出isr

 

ACK 的应答机制 

对于不重要的信息，是容忍丢失的. 

 

0 :   Broker 一收到消息 还没写入磁盘 就返回ack消息.  broker故障可能有丢失情况.    ----不写 磁盘

1. producer 等待broker的ack ，当leader 写入磁盘数据后在返回ack ， 如果在foller同步成功之前leader故障， 那么数据有可能丢失。 -----leader写磁盘

1-, 是说 partition的leader和follower全部落盘在返回ack。 如果foller同步完成 ， broker发送ack之前，leader故障 ，会造成数据重复.　　-------follwer和leader都写磁盘.

 

4. Kafka选举leader机制

kafka在0.8.2版本开始采用了这种 选举方式

1）基于Controller的Leader Election
整个集群中选举出一个Broker作为Controller
Controller为所有Topic的所有Partition指定Leader及Follower

2）优点
极大缓解Herd Effect问题
减轻Zookeeper负载
Controller与Leader及Follower间通过RPC通信，高效且实时

3）缺点
引入Controller增加了复杂度
需要考虑Controller的Failover

总结：1、kafka利用zookeeper去选举出controller；2、kafka通过controller选指定出leader和follower，而无需通过zookeeper了。

 

5. kafka数据一致性问题。