kafka的isr理解

问题如下:

kafka 为了保证数据的一致性使用了isr 机制

1 首先我们知道kafka 的数据是多副本的,每个topic 下的每个分区下都有一个leader 和多个follower,

2 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据

注意问题:follewer 只是数据的副本提供数据的可恢复性,本身和kafka 的读写性能无关(kafka的读写都是和leader 相关)

3 那么问题就出来了 虽然每个分区都有多个副本,但是如何确定副本的数据和leader 的数据是同步的?

isr 的全称是:In-Sync Replicas isr 是一个副本的列表,里面存储的都是能跟leader 数据一致的副本,确定一个副本在isr列表中,有2个判断条件

条件1:根据副本和leader 的交互时间差,如果大于某个时间差 就认定这个副本不行了,就把此副本从isr 中剔除,此时间差根据

配置参数rerplica.lag.time.max.ms=10000 决定 单位ms

条件2:根据leader 和副本的信息条数差值决定是否从isr 中剔除此副本,此信息条数差值根据配置参数rerplica.lag.max.messages=4000 决定 单位条

isr 中的副本删除或者增加 都是通过一个周期调度来管理的

4 kafka 根据isr 机制和消息的ack方式保证的数据的一致性和保证幂等性(消息是否会重复消费。发送等)

 min.insync.replicas=n 配置参数表示 当满足了n个副本的消息确认(n默认为1,最好大于1,因为leader 也在isr 列表中),才认为这条消息是发送成功的

min.insync.replicas 参数只有配合request.required.acks =-1 时才能达到最大的可靠性

request.required.acks 的参数说明:

0:生产者只管发送,不管服务器,消费者是否收到信息

1:只有当leader 确认了收到消息,才确认此消息发送成功

-1:只有isr 中的n-1个副本(leader 除外所以n-1)都同步了消息 此消息才确认发送成功

注意生产者发送的消息只有在确认发送成功后 才能被消费者消费

思考如果所有的副本都挂掉了会如何?

 

posted @   技术研究与问题解决  阅读(2606)  评论(0编辑  收藏  举报
编辑推荐:
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
阅读排行:
· 地球OL攻略 —— 某应届生求职总结
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 提示词工程——AI应用必不可少的技术
· .NET周刊【3月第1期 2025-03-02】
历史上的今天:
2019-08-02 HUE安装与使用
点击右上角即可分享
微信分享提示