郭慕荣 - 博客园

2022年3月17日

摘要：虽然自动提交offset十分简单便利，但由于其是基于时间提交的，开发人员难以把握offset提交的时机。因此Kafka还提供了手动提交offset的API。手动提交offset的方法有两种:分别是commitSync(同步提交)和commitAsync(异步提交)。两者的相同点是，都会将本次提交阅读全文

posted @ 2022-03-17 17:48 郭慕荣阅读(1535) 评论(0) 推荐(0) 编辑

Kafka自动提交 offset

摘要：总结：阅读全文

posted @ 2022-03-17 17:43 郭慕荣阅读(69) 评论(0) 推荐(0) 编辑

kafka的offset 位移

摘要： __consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+ 分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic 进行 compact，也就是每个 group.id+topic 阅读全文

posted @ 2022-03-17 17:02 郭慕荣阅读(85) 评论(0) 推荐(0) 编辑

2022年3月16日

kafka分区的分配以及再平衡

摘要：总结：阅读全文

posted @ 2022-03-16 22:13 郭慕荣阅读(140) 评论(0) 推荐(0) 编辑

Kafka 消费者组详细消费流程

摘要：总结：阅读全文

posted @ 2022-03-16 16:26 郭慕荣阅读(412) 评论(0) 推荐(0) 编辑

消费者组初始化流程

摘要： 1、coordinator:辅助实现消费者组的初始化和分区的分配。coordinator节点选择 = groupid的hashcode值 % 50( __consumer_offsets的分区数量)例如: groupid的hashcode值 = 1，1% 50 = 1，那么__consumer_of 阅读全文

posted @ 2022-03-16 16:19 郭慕荣阅读(118) 评论(0) 推荐(0) 编辑

kafka高效读写数据

摘要： 1)Kafka 本身是分布式集群，可以采用分区技术，并行度高 2)读数据采用稀疏索引，可以快速定位要消费的数据 3)顺序写磁盘：Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机阅读全文

posted @ 2022-03-16 10:26 郭慕荣阅读(209) 评论(0) 推荐(0) 编辑

kafka文件存储机制

摘要： 1.index为稀疏索引，大约每往log文件写入4kb数据，会往index文件写入一条索引。注意: 参数log.index.interval.bytes默认4kb。2.Index文件中保存的offset为相对offset，这样能确保offset的值所占空间不会过大，因此能将offset的值控制在固阅读全文

posted @ 2022-03-16 09:55 郭慕荣阅读(438) 评论(0) 推荐(0) 编辑

2022年3月14日

生产经验——Leader Partition 负载平衡

摘要：正常情况下，Kafka本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某些broker宕机，会导致Leader Partition过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的 br 阅读全文

posted @ 2022-03-14 16:48 郭慕荣阅读(278) 评论(0) 推荐(0) 编辑

leader故障处理细节（当leader发生故障的时候）

摘要： 1)Leader故障(1) Leader发生故障之后，会从ISR中选出一个新的Leader(2)为保证多个副本之间的数据一致性，其余的Follower会先将各自的log文件高于HW的部分截掉，然后从新的Leader同步数据。注意:这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不重复。阅读全文

posted @ 2022-03-14 15:10 郭慕荣阅读(195) 评论(0) 推荐(0) 编辑

郭慕荣博客园

公告