随笔分类 - Flume
摘要:1、源码更改场景:如果使用 0.8 版本 Kafka 并配套 1.6 版本 Flume,由于 Flume 1.6 版本没有Taildir Source 组件,因此,需要将 Flume 1.7 中的 Taildir Source 组件源码编译打包后,放入Flume1.6 安装目录的 lib文件目录下。
阅读全文
摘要:一、拦截器 1、拦截器: 拦截器主要作用在source和channel之间,用于给event设置header消息头,如果没有设置拦截器,则event中只有message。 常见的拦截器有: Timestamp Interceptor 时间拦截器:将时间戳插入到header中。 Host Interc
阅读全文
摘要:1、什么是Flume:apache顶级项目,主要用来做数据采集。分布式、高可用,将海量日志进行采集、聚合、传输的系统。能够对数据进行简单处理在发送到接收方。 2、Flume组件:source、channel、sink,一个Flume可以有一个source,多个channel、多个sink (1)so
阅读全文