摘要: 使用 Flume 监听整个目录的文件,并上传至 HDFS。 一、创建配置文件 flume-dir-hdfs.conf https://flume.apache.org/FlumeUserGuide.html#spooling-directory-source # Name the component 阅读全文
posted @ 2019-09-21 21:29 江湖小小白 阅读(1860) 评论(0) 推荐(0) 编辑
摘要: 实时监控,并上传到 HDFS 中。 一、Flume 要想将数据输出到 HDFS,须持有 Hadoop 相关 jar 包 若 Hadoop 环境和 Flume 在同一节点,那么只要配置 Hadoop 环境变量即可,不需要复制相关 jar 包。 # 将相关包拷贝到 flume 的 lib 目录下 # c 阅读全文
posted @ 2019-09-21 00:40 江湖小小白 阅读(2118) 评论(0) 推荐(0) 编辑