关于flume的对应关系及常用的source

对应关系

  1. 在一个Flume进程中，source、channel、sink的关系是：1个source可以绑定多个channel，一个channel只能绑定1个sink。
  2. source和channel是一对多的关系，sink和channel是一对一的关系。

source

spooldir和exec的tail -F这两个数据源我们后期使用较多，主要网站中产生的数据，都是记录到日志文件中的。如果记录的日志文件只有一个，
那使用exec的tail -F采集数据。有些网站产生的日志文件是按照时间进行滚动的，适合使用spooldir采集数据
posted @   jsqup  阅读(149)  评论(0)  编辑  收藏  举报
相关博文：
·  案例九：启动flume采集程序，其中采集两个数据源的数据，其中第一个数据源是服务器1上的端口数据。第二个数据源是服务器2上的目录数据。现在实现将服务器1和服务器2数据源上的数据统一输出到flume日志中
·  案例七：启动一个flume采集数据程序，要求采集指定端口、指定目录、指定文件的数据，其中端口数据发送到HDFS和flume日志中，目录数据只发送给hdfs、文件数据只发送给logger
·  Flume组成：Put事务+Take事务
·  1-10日报
·  Flume - [02] Spooling Directory Source
阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配，妙~啊~
· .NET Core 中如何实现缓存的预热？
点击右上角即可分享
微信分享提示
SQL AI 助手