摘要:
1. 存储与读写 1.1 Kafka 存储机制 由于生产者生产的消息会不断追加到 log 文件末尾,为防止 log 文件过大导致数据定位效率低下,Kafka 采取了〈分片〉和〈索引〉机制,将每个 Partition 分为多个 Segment。 每个 Segment 对应两个文件 ——「.index」 阅读全文
摘要:
# 1. 发送消息流程 ## 1.1 整体架构 整个生产者客户端由两个线程协调运行,这两个线程分别为主线程和 Sender 线程(发送线程)。在主线程中由 KafkaProducer 创建消息,然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器(RecordAccumulator,也称 阅读全文
摘要:
# 1. 消息队列 一个消息系统负责将数据从一个应用传递到另外一个应用,应用只需关注于数据,无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列,在客户端应用和消息系统之间异步传递消息。 有两种主要的消息传递模式:点对点模式、发布-订阅模式。Kafka 就是一种“发布-订阅” 阅读全文