随笔分类 - KAFKA
摘要：1、 consumer API kafka 提供了两套 consumer API： 其中 high-level consumer API 提供了一个从 kafka 消费数据的高层抽象，而 SimpleConsumer API 则需要开发人员更多地关注细节。 1.1 The high-level co
阅读全文
摘要：1 、存储方式 物理上把 topic 分成一个或多个 patition（对应 server.properties 中的 num.partitions=3 配置），每个 patition 物理上对应一个文件夹（该文件夹存储该 patition 的所有消息和索引文件），如下： 图.4 2 、存储策略 无
阅读全文
摘要：1、 写入方式 producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。 2 、消息路由 producer 发送消息到 broker 时，会根据分区算法选择将其
阅读全文
摘要：1、 replication 如图.1所示，同一个 partition 可能会有多个 replica（对应 server.properties 配置中的 default.replication.factor=N）。没有 replica 的情况下，一旦 broker 宕机，其上所有 patition
阅读全文
摘要：1、zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示：
阅读全文
摘要：在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and
阅读全文
摘要：一、KafkaOffsetMonitor简述 KafkaOffsetMonitor是Kafka的一款客户端消费监控工具，用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，我们可以浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以
阅读全文
摘要：一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理
阅读全文
摘要：一、为什么需要消息系统 (1) 解耦 在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 (2) 冗余 有些情况下，处理数据的过程
阅读全文
摘要：Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。 zookeeper在kafka的作用 kafka在zookeeper中注册相关信息，zookeeper对于kafka来说起到协调服务的作用，下图展示了zookeeper对于kafka的
阅读全文
