随笔分类 -  Flume

摘要:1、源码更改场景:如果使用 0.8 版本 Kafka 并配套 1.6 版本 Flume,由于 Flume 1.6 版本没有Taildir Source 组件,因此,需要将 Flume 1.7 中的 Taildir Source 组件源码编译打包后,放入Flume1.6 安装目录的 lib文件目录下。 阅读全文
posted @ 2019-12-11 14:28 guoyu1 阅读(460) 评论(0) 推荐(0) 编辑
摘要:一、拦截器 1、拦截器: 拦截器主要作用在source和channel之间,用于给event设置header消息头,如果没有设置拦截器,则event中只有message。 常见的拦截器有: Timestamp Interceptor 时间拦截器:将时间戳插入到header中。 Host Interc 阅读全文
posted @ 2019-12-11 10:51 guoyu1 阅读(1058) 评论(0) 推荐(0) 编辑
摘要:1、什么是Flume:apache顶级项目,主要用来做数据采集。分布式、高可用,将海量日志进行采集、聚合、传输的系统。能够对数据进行简单处理在发送到接收方。 2、Flume组件:source、channel、sink,一个Flume可以有一个source,多个channel、多个sink (1)so 阅读全文
posted @ 2019-12-10 21:05 guoyu1 阅读(874) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示