Kafka 高效文件存储设计特点?

    • Kafka把topic中一个parition大文件分成多个小文件段,通过多个小文件段,就容易定期清除或删除已经消费完文件,减少磁盘占用。

    • 通过索引信息可以快速定位message和确定response的最大大小。

    • 通过index元数据全部映射到memory,可以避免segment file的IO磁盘操作。

    • 通过索引文件稀疏存储,可以大幅降低index文件元数据占用空间大小

posted @ 2020-05-17 20:33  咔啡  阅读(360)  评论(0编辑  收藏  举报