打赏

03_ Flume采集(监听)目录到HDFS案例

采集需求:某服务器的某特定目录下,会不断产生新的文件,每当有新文件出现,就需要把文件采集到HDFS中去

根据需求,首先定义以下3大要素

  l.采集数据源,即source——监控文件目录 :  spooldir

  2.下沉目标,即sink——HDFS文件系统  :  hdfs sink

  3.source和sink之间的传递通道——channel,可用file channel 也可以用内存channel

配置采集方案:

  

 

 

posted @ 2018-07-13 16:29  QueryMarsBo  阅读(224)  评论(0编辑  收藏  举报