SpringCore - 博客园

2024年2月24日

摘要： 1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168 阅读全文

posted @ 2024-02-24 17:22 SpringCore 阅读(10) 评论(0) 推荐(0) 编辑

Kafka 集成SpringBoot

摘要： 1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168 阅读全文

posted @ 2024-02-24 17:18 SpringCore 阅读(169) 评论(0) 推荐(0) 编辑

Kafka 集成Flink

摘要： 1.环境准备 1.Kafka集群环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.创建first Topic /usr/kafka/kafka_2.13-3.6.1/bin/kafka-topics.sh --bootstrap-server 192.168 阅读全文

posted @ 2024-02-24 10:06 SpringCore 阅读(108) 评论(0) 推荐(0) 编辑

2024年2月23日

Flume 1.11 部署

摘要： Flume官网： https://flume.apache.org/ 下载地址： https://archive.apache.org/dist/flume/ 文档地址： https://flume.apache.org/FlumeUserGuide.html 1.安装部署 1.将二进制包上传到服务阅读全文

posted @ 2024-02-23 10:36 SpringCore 阅读(93) 评论(0) 推荐(0) 编辑

Kafka 集成Flume

摘要： 1.环境准备 1.准备一个Kafka集群环境并启动 Kafka 3.6.1 集群安装与部署 2.在任意Kafka集群节点上安装Flume Flume 1.11 部署 2.Flume 生产者 1.配置 Flume cd /usr/flume/apache-flume-1.11.0-bin/ mkdir 阅读全文

posted @ 2024-02-23 10:30 SpringCore 阅读(20) 评论(0) 推荐(0) 编辑

2024年2月22日

Kafka 3.6.1 Kraft模式集群安装与部署

摘要： 1.集群规划一般模式下，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。kraft 模式架构（实验性）下，不再依赖 zookeeper 集群，而是用三台 controller 节点代替 zookeeper，元数据保存在 c 阅读全文

posted @ 2024-02-22 14:02 SpringCore 阅读(3789) 评论(0) 推荐(0) 编辑

Kafka监控系统Kafka Eagle

摘要： kafka集群部署完成后需要有一个可视化web页面，便于实时查看和观测kafka集群状态，kafka本身并没有提供可视化页面，但市面上有很多开源的可视化工具，我们以其中的Kafka Eagle为例，在安装Kafka Eagle之前，至少需要安装JDK、kafka、zookeeper的环境后，再进行后阅读全文

posted @ 2024-02-22 10:12 SpringCore 阅读(213) 评论(0) 推荐(0) 编辑

2024年2月19日

Kafka 消费者

摘要： 1.Kafka 消费方式 pull（拉）模式： consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 push（推）模式： Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率。例如推送的速度是50m/s，Consumer1、Consu 阅读全文

posted @ 2024-02-19 12:49 SpringCore 阅读(392) 评论(0) 推荐(0) 编辑

2024年2月16日

Kafka Broker(节点)

摘要： 1.Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 /kafka/brokers/ids 记录有哪些Kafka Broker服务器 /kafka/brokers/topics/first/partitions/0/state 记录每一个主题下的分区对应的Lead 阅读全文

posted @ 2024-02-16 14:11 SpringCore 阅读(40) 评论(0) 推荐(0) 编辑

2024年2月13日

Kafka 生产者

摘要： 1.生产者消息发送流程 1.发送原理在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAcc 阅读全文

posted @ 2024-02-13 13:04 SpringCore 阅读(20) 评论(0) 推荐(0) 编辑

Coreqi

公告