2021年3月29日
Flume—(6)多数据源汇总
摘要： 多数据源汇总案例 1.案例需求： hadoop103上的Flume-1监控文件/opt/module/group.log hddoop102上的Flume-2监控某一个端口的数据流， Flume-1与Flume-2将数据发送给hadoop104上的Flume-3，Flume-3将最终数据打印到控制台 阅读全文
posted @ 2021-03-29 13:08 cqyyck 阅读(177) 评论(0) 推荐(0) 编辑
Flume—(5)单数据源多出口
摘要： 单Source、Channel多Sink（负载均衡） 1. 案例需求 使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3也负责存储到HDFS。 2. 需求分析 3.实现步骤 阅读全文
posted @ 2021-03-29 13:07 cqyyck 阅读(126) 评论(0) 推荐(0) 编辑
Flume—(4)单数据源多出口
摘要： 1）案例需求 使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传底给Flume-3，Flume-3负责传递给Local FileSystem。 2）需求分析 3）实现步骤 1.准备工作 在/opt/modul 阅读全文
posted @ 2021-03-29 09:59 cqyyck 阅读(142) 评论(0) 推荐(0) 编辑
Flume—FLume安装步骤
摘要： Flume安装步骤 1）将apache-flume-1.9.0-bin.tar上传到Linux的/opt/software目录下 2）解压apache-flume-1.9.0-bin.tar到/opt/module目录下。 [ck@hadoop102 software]$ tar -zxf apac 阅读全文
posted @ 2021-03-29 09:57 cqyyck 阅读(321) 评论(0) 推荐(0) 编辑
Flume—[ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java:251)] Unable to start EventDrivenSourceRunner:
摘要： 2021-03-19 08:29:48,243 (lifecycleSupervisor-1-3) [ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.java 阅读全文
posted @ 2021-03-29 08:17 cqyyck 阅读(1438) 评论(3) 推荐(0) 编辑