随笔分类 -  Kafka

Kafka
摘要:1.OffsetExplorer3 个人免费,不支持中文 官网地址:https://kafkatool.com/download.html 界面: 2.Kafka IDE 部分版本免费,不支持中文, 官网地址:https://kafkaide.com/download/ 界面: 3.Kafka As 阅读全文
posted @ 2024-03-24 20:07 SpringCore 阅读(368) 评论(0) 推荐(0) 编辑
摘要:官方文档地址:https://kafka.apache.org/documentation/#docker 镜像地址:https://hub.docker.com/r/apache/kafka 官方案例及说明地址:https://github.com/apache/kafka/tree/trunk/ 阅读全文
posted @ 2024-03-24 09:13 SpringCore 阅读(208) 评论(0) 推荐(0) 编辑
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168 阅读全文
posted @ 2024-02-24 17:22 SpringCore 阅读(34) 评论(0) 推荐(0) 编辑
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168 阅读全文
posted @ 2024-02-24 17:18 SpringCore 阅读(491) 评论(0) 推荐(0) 编辑
摘要:1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168 阅读全文
posted @ 2024-02-24 10:06 SpringCore 阅读(239) 评论(0) 推荐(0) 编辑
摘要:1.环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.在任意Kafka集群节点上安装Flume Flume 1.11 部署 2.Flume 生产者 1.配置 Flume cd /usr/flume/apache-flume-1.11.0-bin/ mkdir 阅读全文
posted @ 2024-02-23 10:30 SpringCore 阅读(41) 评论(0) 推荐(0) 编辑
摘要:1.集群规划 一般模式下,元数据在 zookeeper 中,运行时动态选举 controller,由controller 进行 Kafka 集群管理。kraft 模式架构(实验性)下,不再依赖 zookeeper 集群,而是用三台 controller 节点代替 zookeeper,元数据保存在 c 阅读全文
posted @ 2024-02-22 14:02 SpringCore 阅读(6664) 评论(0) 推荐(0) 编辑
摘要:kafka集群部署完成后需要有一个可视化web页面,便于实时查看和观测kafka集群状态,kafka本身并没有提供可视化页面,但市面上有很多开源的可视化工具,我们以其中的Kafka Eagle为例,在安装Kafka Eagle之前,至少需要安装JDK、kafka、zookeeper的环境后,再进行后 阅读全文
posted @ 2024-02-22 10:12 SpringCore 阅读(361) 评论(0) 推荐(1) 编辑
摘要:1.Kafka 消费方式 pull(拉)模式: consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 push(推)模式: Kafka没有采用这种方式,因为由broker决定消息发送速率,很难适应所有消费者的消费速率。例如推送的速度是50m/s,Consumer1、Consu 阅读全文
posted @ 2024-02-19 12:49 SpringCore 阅读(935) 评论(0) 推荐(0) 编辑
摘要:1.Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 /kafka/brokers/ids 记录有哪些Kafka Broker服务器 /kafka/brokers/topics/first/partitions/0/state 记录每一个主题下的分区对应的Lead 阅读全文
posted @ 2024-02-16 14:11 SpringCore 阅读(84) 评论(0) 推荐(0) 编辑
摘要:1.生产者消息发送流程 1.发送原理 在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAcc 阅读全文
posted @ 2024-02-13 13:04 SpringCore 阅读(27) 评论(0) 推荐(0) 编辑
摘要:1.Topic(主题)命令行操作 1.查看Topic所有命令 bin/kafka-topics.sh 以下展示为最常使用的 参数 描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号 --topic 阅读全文
posted @ 2024-02-11 10:17 SpringCore 阅读(800) 评论(0) 推荐(0) 编辑
摘要:1.集群规划 hadoop02(192.168.58.130) hadoop03(192.168.58.131) hadoop04(192.168.58.132) zookeeper zookeeper zookeeper kafka kafka kafka 2.集群部署 1.下载kafka二进制包 阅读全文
posted @ 2024-02-10 09:06 SpringCore 阅读(1220) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up light_mode palette
选择主题