摘要：
7.1 Kafka-Kraft 架构 左图为 Kafka 现有架构，元数据在 zookeeper 中，运行时动态选举 controller，由 controller 进行 Kafka 集群管理。右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群， 而是用三台 controll 阅读全文
摘要：
Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。 6.1 MySQL 环境准备 Kafka-Eagle 的安装依赖于 MySQL，MySQL 主要用来存储可视化展示的数据。如果集 群中之前安装过 MySQL 可以跨过该步。 6.2 Kafka 环境准备 1 阅读全文
摘要：
5.1 Kafka 消费方式 1）pull（拉）模式： consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 2）push（推）模式： **Kafka没有采用这种方式，因为由broker 决定消息发送速率，很难适应所有消费者的消费速率。**例如推送的速度是50m/s， Con 阅读全文
摘要：
4.1 Kafka Broker 工作流程 4.1.1 Zookeeper 存储的 Kafka 信息 （1）启动 Zookeeper 客户端。 [atguigu@hadoop102 zookeeper-3.8.0]$ ./bin/zkCli.sh （2）通过 ls 命令可以查看 kafka 相关信息 阅读全文
摘要：
3.1 生产者消息发送流程 3.1.1 发送原理 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程 中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator， Sender 线程不断从 R 阅读全文
摘要：
2.1 安装部署 2.1.1 集群规划 hadoop101 hadoop102 hadoop103 zk zk zk kafka kafka kafka 2.1.2 集群部署 0）官方下载地址：http://kafka.apache.org/downloads.html 1）解压安装包 [root@ 阅读全文
摘要：
1.1 定义 Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。 Kafka最新定义：Kafka是 阅读全文