随笔分类 -  flume

摘要:(1):采集需求:比如业务系统使用log4j生成的日志,日志内容不断增加,需要把追加到日志文件中的数据实时采集到hdfs (2):根据需求,首先定义以下3大要素 采集源,即source——监控文件内容更新 : exec ‘tail -F file’ 下沉目标,即sink——HDFS文件系统 : hd 阅读全文
posted @ 2023-08-30 15:26 whiteY 阅读(83) 评论(0) 推荐(0) 编辑
摘要:(1)采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去 (2)根据需求,首先定义以下3大要素 a):采集源,即source——监控文件目录 : spooldir b):下沉目标,即sink——HDFS文件系统 : hdfs sink c):sou 阅读全文
posted @ 2023-08-30 15:24 whiteY 阅读(54) 评论(0) 推荐(0) 编辑
摘要:###监视文件夹 #####1.`在flume的conf的目录下创建文件名称为:vim spool-logger.conf的文件` ``` # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = 阅读全文
posted @ 2023-08-30 14:42 whiteY 阅读(65) 评论(0) 推荐(0) 编辑
摘要:###1.安装包下载路径 ``` https://mirrors.tuna.tsinghua.edu.cn/apache/ ``` ###2.安装环境 ``` 192.168.11.128 192.168.11.129 192.168.11.130 ``` ###3.解压gz压缩包到3个机器节点 ` 阅读全文
posted @ 2023-08-30 11:38 whiteY 阅读(202) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示