随笔分类 - Kafka
摘要：1 Topic Kafka消息分类的标签，是一个逻辑概念。 2 Partion 主题作为消息的归类，可以细分为一个或多个分区，分区可以看做是对消息的二次归类。分区可以有一个至多个副本，每个副本对应一个日志文件，每个日志文件对应一个至多个日志分段（LogSegment），每个日志分段还可以细分为索引文
阅读全文
摘要：Kafka中的消息以主题为基本单位进行归类。一个主题对应多个分区。在不考虑多副本时，一个分区对应一个日志Log，每个Log又切分为许多个LogSegMent,这样方便消息的维护和清理。Log在物理上以文件夹的形式存储，而LogSegment对应于磁盘上的一个日志文件和两个索引文件，以及其它可能的文件
阅读全文
摘要：(一) 生产者Producer 生产者客户端由两个线程协调运行。其中主线程创建消息，并经过拦截器、序列化器、分区器作用后缓存到消息累加器; 消息累加器中的ProducerBatch是一个双端队列，消息添加时从尾部进入，Sender读取消息时从头部取出。ProducerBatch包含链多个Produc
阅读全文
摘要：为什么有消息系统： 削峰：用于承接超出业务系统处理能力的请求，使业务平稳运行而不至于崩溃。 缓冲：在服务层和落地层之间作为缓冲层存在，有助于控制和优化数据流过系统的速度，可以解决生产消息和消费消息速度不一致的情况。 异步：使用异步的方式，快读响应用户的操作，减少服务请求的响应时间。 解耦：消息队列可
阅读全文
