摘要：
Kafka 一般被认为是一个强大的消息总线，可以传递事件流，但没有处理和转换事件的能力。 Kafka 可靠的传递能力让它成为流式处理系统完美的数据来源。很多基于 Kafka 构建的流式处理系统都将 Kafka 作为唯一可靠的数据来源，如 Apache Storm 、 Apache Spark Str 阅读全文
摘要：
一、消息传输保障 一般而言，消息中间件的消息传输保障有3个层级，分别如下。(1) at most once：至多一次。消息可能会丢失，但绝对不会重复传输。(2) at least once ： 最少一次。消息绝不会丢失，但可能会重复传输。(3) exactly once ：恰好一次。每条消息肯定会被 阅读全文
摘要：
在某些场景的架构里，可能需要用到多个集群，我们把集群间的数据复制叫作镜像，Kafka 内置的跨集群复制工具叫作 MirrorMaker。 一、跨集群镜像的使用场景 区域集群和中心集群：有时候一个公司会有多个数据中心，该公司在每个城市都有一个数据中心，它们收集所在城市的供需信息，并调整商品价格。这些信 阅读全文
摘要：
在使用 Kafka 构建数据管道时，通常有两种使用场景 ： 第一种，把 Kafka 作为数据管道的两个端点之一 ，例如，把 Kafka 里的数据移动到 S3 上，或者把 MongoDB 里的数据移动到 Kafka 里；第二种，把 Kafka 作为数据管道两个端点的中间媒介，例如，为了把 Twitte 阅读全文
摘要：
一、可靠性保证 ACID 是关系型数据库普遍支持的标准可靠性保证。ACID 指的是原子性、一致性、隔离性和持久性。如果一个供应商说他们的数据库遵循ACID 规范，其实就是在说他们的数据库支持与事务相关的行为。 那么 Kafka 可以在哪些方面作出保证呢？ Kafka 可以保证分区消息的顺序。如果使用 阅读全文
摘要：
一、zookeeper Kafka 使用 Zookeeper 来维护集群成员的信息。每个 broker 都有一个唯一标识符, 这个标识符可以在配置文件里指定, 也可以自动生成。 在 broker 启动的时候, 它通过创建临时节点把自己的 ID 注册到 zookeeper。Kafka 组件订阅 Zoo 阅读全文
摘要：
应用程序使用 KafkaConsumer 向 Kafka 订阅主题，并从订阅的主题上接收消息。 一、消费者和消费者群组 Kafka 消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接收主题一部分分区的消息。 假设主题T1有4个分区，消费者C1是群组G1里的唯一的消费者，消费者 阅读全文
摘要：
一、向Kafka发送消息的主要步骤 我们从创建一个 ProducerRecord 对象开始，ProducerRecord对象需要包含目标主题和要发送的内容。我们还可以指定键或分区。在发送 ProducerRecord对象时，生产者要先把键和值对象序列化成字节数组，这样它们才能够在网络上传输 。 接下 阅读全文
摘要：
一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个ZooKeeper集群。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中 阅读全文
摘要：
一、RocketMQ主从复制原理 为了提高消息消费的高可用性，避免Broker发生单点故障引起存储在Broker上的消息无法及时消费，RocketMQ引入了Broker主备机制，即消息消费到达主服务器后需要将消息同步到消息从服务器，如果主服务器Broker宕机后，消息消费者可以从从服务器拉取消息。 阅读全文