摘要：
Kafka 一般被认为是一个强大的消息总线，可以传递事件流，但没有处理和转换事件的能力。 Kafka 可靠的传递能力让它成为流式处理系统完美的数据来源。很多基于 Kafka 构建的流式处理系统都将 Kafka 作为唯一可靠的数据来源，如 Apache Storm 、 Apache Spark Str 阅读全文
posted @ 2021-10-21 23:05
湮天霸神666
阅读(1280)
评论(0)
推荐(0)
摘要：
一、消息传输保障 一般而言，消息中间件的消息传输保障有3个层级，分别如下。(1) at most once：至多一次。消息可能会丢失，但绝对不会重复传输。(2) at least once ： 最少一次。消息绝不会丢失，但可能会重复传输。(3) exactly once ：恰好一次。每条消息肯定会被 阅读全文
posted @ 2021-10-20 22:37
湮天霸神666
阅读(320)
评论(0)
推荐(0)
摘要：
在某些场景的架构里，可能需要用到多个集群，我们把集群间的数据复制叫作镜像，Kafka 内置的跨集群复制工具叫作 MirrorMaker。 一、跨集群镜像的使用场景 区域集群和中心集群：有时候一个公司会有多个数据中心，该公司在每个城市都有一个数据中心，它们收集所在城市的供需信息，并调整商品价格。这些信 阅读全文
posted @ 2021-10-19 09:08
湮天霸神666
阅读(510)
评论(0)
推荐(0)
摘要：
在使用 Kafka 构建数据管道时，通常有两种使用场景 ： 第一种，把 Kafka 作为数据管道的两个端点之一 ，例如，把 Kafka 里的数据移动到 S3 上，或者把 MongoDB 里的数据移动到 Kafka 里；第二种，把 Kafka 作为数据管道两个端点的中间媒介，例如，为了把 Twitte 阅读全文
posted @ 2021-10-19 09:07
湮天霸神666
阅读(268)
评论(0)
推荐(0)
摘要：
一、可靠性保证 ACID 是关系型数据库普遍支持的标准可靠性保证。ACID 指的是原子性、一致性、隔离性和持久性。如果一个供应商说他们的数据库遵循ACID 规范，其实就是在说他们的数据库支持与事务相关的行为。 那么 Kafka 可以在哪些方面作出保证呢？ Kafka 可以保证分区消息的顺序。如果使用 阅读全文
posted @ 2021-10-19 09:06
湮天霸神666
阅读(297)
评论(0)
推荐(0)
摘要：
一、zookeeper Kafka 使用 Zookeeper 来维护集群成员的信息。每个 broker 都有一个唯一标识符, 这个标识符可以在配置文件里指定, 也可以自动生成。 在 broker 启动的时候, 它通过创建临时节点把自己的 ID 注册到 zookeeper。Kafka 组件订阅 Zoo 阅读全文
posted @ 2021-10-19 09:01
湮天霸神666
阅读(352)
评论(0)
推荐(0)
摘要：
应用程序使用 KafkaConsumer 向 Kafka 订阅主题，并从订阅的主题上接收消息。 一、消费者和消费者群组 Kafka 消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接收主题一部分分区的消息。 假设主题T1有4个分区，消费者C1是群组G1里的唯一的消费者，消费者 阅读全文
posted @ 2021-10-18 22:40
湮天霸神666
阅读(305)
评论(0)
推荐(0)
摘要：
一、向Kafka发送消息的主要步骤 我们从创建一个 ProducerRecord 对象开始，ProducerRecord对象需要包含目标主题和要发送的内容。我们还可以指定键或分区。在发送 ProducerRecord对象时，生产者要先把键和值对象序列化成字节数组，这样它们才能够在网络上传输 。 接下 阅读全文
posted @ 2021-10-18 09:28
湮天霸神666
阅读(224)
评论(0)
推荐(0)
摘要：
一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个ZooKeeper集群。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送到Broker，Broker负责将收到的消息存储到磁盘中 阅读全文
posted @ 2021-10-18 08:48
湮天霸神666
阅读(177)
评论(0)
推荐(0)
摘要：
一、RocketMQ主从复制原理 为了提高消息消费的高可用性，避免Broker发生单点故障引起存储在Broker上的消息无法及时消费，RocketMQ引入了Broker主备机制，即消息消费到达主服务器后需要将消息同步到消息从服务器，如果主服务器Broker宕机后，消息消费者可以从从服务器拉取消息。 阅读全文
posted @ 2021-07-24 08:55
湮天霸神666
阅读(1125)
评论(0)
推荐(1)
浙公网安备 33010602011771号