02 2024 档案
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168
阅读全文
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168
阅读全文
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168
阅读全文
摘要:Flume官网: https://flume.apache.org/ 下载地址: https://archive.apache.org/dist/flume/ 文档地址: https://flume.apache.org/FlumeUserGuide.html 1.安装部署 1.将二进制包上传到服务
阅读全文
摘要:1.环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.在任意Kafka集群节点上安装Flume Flume 1.11 部署 2.Flume 生产者 1.配置 Flume cd /usr/flume/apache-flume-1.11.0-bin/ mkdir
阅读全文
摘要:1.集群规划 一般模式下,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。kraft 模式架构(实验性)下,不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 c
阅读全文
摘要:kafka集群部署完成后需要有一个可视化web页面,便于实时查看和观测kafka集群状态,kafka本身并没有提供可视化页面,但市面上有很多开源的可视化工具,我们以其中的Kafka Eagle为例,在安装Kafka Eagle之前,至少需要安装JDK、kafka、zookeeper的环境后,再进行后
阅读全文
摘要:1.Kafka 消费方式 pull(拉)模式: consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 push(推)模式: Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consu
阅读全文
摘要:1.Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 /kafka/brokers/ids 记录有哪些Kafka Broker服务器 /kafka/brokers/topics/first/partitions/0/state 记录每一个主题下的分区对应的Lead
阅读全文
摘要:1.生产者消息发送流程 1.发送原理 在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAcc
阅读全文
摘要:1.Topic(主题)命令行操作 1.查看Topic所有命令 bin/kafka-topics.sh 以下展示为最常使用的 参数 描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号 --topic
阅读全文
摘要:1.集群规划 hadoop02(192.168.58.130) hadoop03(192.168.58.131) hadoop04(192.168.58.132) zookeeper zookeeper zookeeper kafka kafka kafka 2.集群部署 1.下载kafka二进制包
阅读全文
摘要:1. sql-client 准备 1.基于yarn-session模式 1.准备Flink集群 参考地址:Flink1.18 & YARN 会话模式 2.启动 Flink 的 sql-client /usr/flink/flink-1.18.0/bin/sql-client.sh embedded
阅读全文