摘要: 总结: 阅读全文
posted @ 2022-03-16 22:13 郭慕荣 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 总结: 阅读全文
posted @ 2022-03-16 16:26 郭慕荣 阅读(401) 评论(0) 推荐(0) 编辑
摘要: 1、coordinator:辅助实现消费者组的初始化和分区的分配。coordinator节点选择 = groupid的hashcode值 % 50( __consumer_offsets的分区数量)例如: groupid的hashcode值 = 1,1% 50 = 1,那么__consumer_of 阅读全文
posted @ 2022-03-16 16:19 郭慕荣 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 1)Kafka 本身是分布式集群,可以采用分区技术,并行度高 2)读数据采用稀疏索引,可以快速定位要消费的数据 3)顺序写磁盘:Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端, 为顺序写。官网有数据表明,同样的磁盘,顺序写能到 600M/s,而随机 阅读全文
posted @ 2022-03-16 10:26 郭慕荣 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 1.index为稀疏索引,大约每往log文件写入4kb数据,会往index文件写入一条索引。注意: 参数log.index.interval.bytes默认4kb。2.Index文件中保存的offset为相对offset,这样能确保offset的值所占空间不会过大, 因此能将offset的值控制在固 阅读全文
posted @ 2022-03-16 09:55 郭慕荣 阅读(414) 评论(0) 推荐(0) 编辑