摘要: 一、 1、原理图 2、原理描述 一个topic 可以配置几个partition,produce发送的消息分发到不同的partition中,consumer接受数据的时候是按照group来接受,kafka确保每个partition只能同一个group中的同一个consumer消费,如果想要重复消费,那 阅读全文
posted @ 2019-01-11 16:45 奋小斗g 阅读(596) 评论(0) 推荐(0) 编辑
摘要: 1 Kafka的版本 很多人在Kafka中国社区(替群主做个宣传,QQ号:162272557)提问时的开头经常是这样的:“我使用的kafka版本是2.10/2.11, 现在碰到一个奇怪的问题。。。。” 无意冒犯,但这里的2.10/2.11不是kafka的版本,而是编译kafka的Scala版本。Ka 阅读全文
posted @ 2019-01-11 16:44 奋小斗g 阅读(494) 评论(0) 推荐(0) 编辑
摘要: 1.前言 一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及实际应用效果。 2.Kafka文件存储机制 Kafka部分名词解释如下: Broker:消息中间件处理结点, 阅读全文
posted @ 2019-01-11 16:41 奋小斗g 阅读(2505) 评论(0) 推荐(0) 编辑