2020年6月29日

Kafka-分区日志文件的索引

摘要: Kafka-分区日志文件的索引 消费者可以从kafka的任意可用偏移量位置开始读取消息。假设消费者要读取从偏移量100开始的1MB消息,那么broker必须立即定位到偏移量100(可能是在分区的任意一个片段里),然后开始从这个位置读取消息。为了帮助broker更快地定位到指定的偏移量,kafka为每 阅读全文

posted @ 2020-06-29 22:35 嘣嘣嚓 阅读(377) 评论(0) 推荐(0) 编辑

Kafka-分区日志文件的清理原理

摘要: Kafka-分区日志文件的清理原理 清理 一般情况下,kafka会根据设置的时间保留数据,把熬过时效的旧数据删除掉。 早于保留时间的旧事件会被删除,为每个键保留最新的值,从而达到清理的效果。只有当应用程序生成的事件里包含了键值对时,为这些主题设置compact策略才有意义。如果主题包含null键,清 阅读全文

posted @ 2020-06-29 22:34 嘣嘣嚓 阅读(734) 评论(0) 推荐(0) 编辑

导航