随笔分类 - Kafka
Kafka
摘要:1.OffsetExplorer3 个人免费,不支持中文 官网地址:https://kafkatool.com/download.html 界面: 2.Kafka IDE 部分版本免费,不支持中文, 官网地址:https://kafkaide.com/download/ 界面: 3.Kafka As
阅读全文
摘要:官方文档地址:https://kafka.apache.org/documentation/#docker 镜像地址:https://hub.docker.com/r/apache/kafka 官方案例及说明地址:https://github.com/apache/kafka/tree/trunk/
阅读全文
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168
阅读全文
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168
阅读全文
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168
阅读全文
摘要:1.环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.在任意Kafka集群节点上安装Flume Flume 1.11 部署 2.Flume 生产者 1.配置 Flume cd /usr/flume/apache-flume-1.11.0-bin/ mkdir
阅读全文
摘要:1.集群规划 一般模式下,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。kraft 模式架构(实验性)下,不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 c
阅读全文
摘要:kafka集群部署完成后需要有一个可视化web页面,便于实时查看和观测kafka集群状态,kafka本身并没有提供可视化页面,但市面上有很多开源的可视化工具,我们以其中的Kafka Eagle为例,在安装Kafka Eagle之前,至少需要安装JDK、kafka、zookeeper的环境后,再进行后
阅读全文
摘要:1.Kafka 消费方式 pull(拉)模式: consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 push(推)模式: Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consu
阅读全文
摘要:1.Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 /kafka/brokers/ids 记录有哪些Kafka Broker服务器 /kafka/brokers/topics/first/partitions/0/state 记录每一个主题下的分区对应的Lead
阅读全文
摘要:1.生产者消息发送流程 1.发送原理 在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAcc
阅读全文
摘要:1.Topic(主题)命令行操作 1.查看Topic所有命令 bin/kafka-topics.sh 以下展示为最常使用的 参数 描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号 --topic
阅读全文
摘要:1.集群规划 hadoop02(192.168.58.130) hadoop03(192.168.58.131) hadoop04(192.168.58.132) zookeeper zookeeper zookeeper kafka kafka kafka 2.集群部署 1.下载kafka二进制包
阅读全文