hz15968199950 - 博客园

2022年5月21日

摘要：有hadoop、zookeeper、flume、kafka、spark等linux安装包链接：https://pan.baidu.com/s/1lFESXKV3qow1xvrWkXM9TA 提取码：8l9z 阅读全文

posted @ 2022-05-21 16:16 hz15968199950 阅读(117) 评论(0) 推荐(0)

摘要： 1.需求：测试同一个主题的分区数据，只能由一个消费者组中的一个消费。 2.复制一份基础消费者的代码，在 IDEA 中同时启动，即可启动同一个消费者组中的两个消费者。由于GroupId都为test,所以3个消费者构成一组。在IDEA里运行 3.运行异步发送随笔中的CustomProducerCall 阅读全文

posted @ 2022-05-21 14:41 hz15968199950 阅读(32) 评论(0) 推荐(0)

Kafka消费者 API（2）

摘要： 1.需求：创建一个独立消费者，消费 first 主题 0 号分区的数据。 2.在上篇随笔的package包新建CustomConsumerPartition类 package com.kafka.consumer; import org.apache.kafka.clients.consumer.C 阅读全文

posted @ 2022-05-21 14:31 hz15968199950 阅读(25) 评论(0) 推荐(0)

Kafka消费者 API（1）

摘要： 1.需求：创建一个独立消费者，消费 first 主题中数据。 2.在IDEA创建包名：com.kafka.consumer 3.新建一个CustomConsumer类 package com.kafka.consumer; import org.apache.kafka.clients.consum 阅读全文

posted @ 2022-05-21 14:00 hz15968199950 阅读(77) 评论(0) 推荐(0)

2022年5月15日

Flume聚合

摘要：案例需求： hadoop102 上的 Flume-1 监控文件/opt/module/group.log， hadoop103 上的 Flume-2 监控某一个端口的数据流， Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到阅读全文

posted @ 2022-05-15 19:41 hz15968199950 阅读(35) 评论(0) 推荐(0)

Flume故障转移

摘要：在/opt/module/flume/job 目录下创建 group2 文件夹 mkdir group2 配置 1 个 netcat source 和 1 个 channel、1 个 sink group（2 个 sink），分别输送给flume-flume-console1 和 flume-flu 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(84) 评论(0) 推荐(0)

Flume 入门案例

摘要：案例需求：使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。安装 netcat 工具 sudo yum install -y nc 判断 44444 端口是否被占用 sudo netstat -nlp | grep 44444 在 flume 目录下创建 job 文件夹并进入 job 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(59) 评论(0) 推荐(0)

Flume环境搭建

摘要：将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/software 目录下没有该目录的可自己手动添加，在命令行输入 mkdir /opt/software 切换目录 cd /opt/software/ 解压 apache-flume-1.9.0-bin 阅读全文

posted @ 2022-05-15 19:40 hz15968199950 阅读(104) 评论(0) 推荐(0)

Kafka自定义分区器

摘要： 1.定义类实现 Partitioner 接口，重写 partition()方法 package com.kafka.producer; import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.comm 阅读全文

posted @ 2022-05-15 18:25 hz15968199950 阅读(234) 评论(0) 推荐(0)

Kfka异步发送 API

摘要： 1.创建Maven工程 kafka 2.在pom.xml文件导入依赖 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>3.0 阅读全文

posted @ 2022-05-15 18:24 hz15968199950 阅读(88) 评论(0) 推荐(0)