摘要: 一、前言 一个正常的生产逻辑需要具备以下几个步骤: 配置生产者客户端参数及创建相应的生产者实例; 构建待发送的消息; 发送消息; 关闭生产者实例; 二、原理分析 2.1 整体架构 整个生产者客户端由两个线程协调运行,这两个线程分别为主线和Sender线程; 在主线程中由KafkaProducer创建 阅读全文
posted @ 2020-11-23 17:03 lenomail 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 前言 Kafka将消息存储在磁盘中,为了控制磁盘占用空间。kafka中每个分区副本都对应一个Log,而Log对应多个日志分段,这样有利日志清理操作。Kafka提供两种日志清理策略: 日志删除(Log retention):按一定的保留的策略直接删除不符条件的日志分段; 日志压缩(Log compat 阅读全文
posted @ 2020-11-23 15:54 lenomail 阅读(1864) 评论(0) 推荐(0) 编辑
摘要: 目录 日志 Kafka 日志索引 :https://www.cnblogs.com/lenoblog/p/14023018.html Kafka日志目录布局:https://www.cnblogs.com/lenoblog/p/14011032.html Kafka日志存储原理:https://ww 阅读全文
posted @ 2020-11-23 15:39 lenomail 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 前言 Kafka中的索引文件以稀疏索引(sparse index)的方式构造消息的索引,并不保证每个消息在索引中都有对应的索引项。 每当写入一定量(由Broker端参数log.index.interval.bytes指定,默认值4K),偏移量索引文件、时间戳索引文件分别增加一个偏移量索引项和时间戳索 阅读全文
posted @ 2020-11-23 10:05 lenomail 阅读(372) 评论(0) 推荐(0) 编辑