摘要:
总结: 阅读全文
摘要:
总结: 阅读全文
摘要:
1、coordinator:辅助实现消费者组的初始化和分区的分配。coordinator节点选择 = groupid的hashcode值 % 50( __consumer_offsets的分区数量)例如: groupid的hashcode值 = 1,1% 50 = 1,那么__consumer_of 阅读全文
摘要:
1)Kafka 本身是分布式集群,可以采用分区技术,并行度高 2)读数据采用稀疏索引,可以快速定位要消费的数据 3)顺序写磁盘:Kafka 的 producer 生产数据,要写入到 log 文件中,写的过程是一直追加到文件末端, 为顺序写。官网有数据表明,同样的磁盘,顺序写能到 600M/s,而随机 阅读全文
摘要:
1.index为稀疏索引,大约每往log文件写入4kb数据,会往index文件写入一条索引。注意: 参数log.index.interval.bytes默认4kb。2.Index文件中保存的offset为相对offset,这样能确保offset的值所占空间不会过大, 因此能将offset的值控制在固 阅读全文