flume-ng配置文档简单说明
1、配置文件现状
1.1 Flume数据接收端
IP地址：54.0.95.67
功能：接收各个端口发来的数据。
启动方式：进入目录 /usr/local/flume/*bin 在终端运行 ./recei*.sh 启动agent。
该agent的配置文件在 /usr/local/flume/*bin/conf/receiveTest.conf 文件中。
1.2 Flume 数据搜集
目前只配置了16台主机，分别是：1. root@54.0.193.30:22，2. root@54.0.76.192:22，6. root@54.0.105.32:22，7. root@54.0.105.33:22，8. root@54.0.105.35:22 ，13. root@54.0.76.11:22，20. root@54.0.193.56:22 ，21. root@54.0.193.57:22，24. root@54.0.193.55:22 ，36. root@54.0.160.24:22，37. root@54.0.160.25:22 ，54. root@54.0.193.35:22 ，58. root@54.0.193.32:22，以及第9，第10和第11台主机。
功能：监听某个文件（自定），若文件有新增内容，agent.sources立即搜集，经channels传输至相应的sinks中。
启动方式：进入目录 /tmp/flume/*bin 在终端运行 ./cli*.sh 启动相应agent。
该agent的配置文件在 /tmp/flume/*bin/conf/cli*.conf 文件中。
2、所用配置文件介绍
2.1 Flume Sources
2.1.1 拦截器
a1.sources = r1
a1.sources.r1.interceptors = i1 i2 i3
a1.sources.r1.interceptors.i1.type = timestamp
a1.sources.r1.interceptors.i2.type = host
a1.sources.r1.interceptors.i2.hostHeader = hostname
a1.sources.r1.interceptors.i2.useIP = false
a1.sources.r1.interceptors.i3.type = static
a1.sources.r1.interceptors.i3.key = datatype
a1.sources.r1.interceptors.i3.value = TYPE_A
（1） TimeStampInterceptor：使用时间戳拦截
type = timestamp
设定timestamp，则会在flume event中添加一个键为timestamp的头，值为当前系统的datetime。设定timestamp的主要作用是当sink为hdfs格式时，可将该时间戳用在文件名或生成的文件的所在目录中。
（2） StaticInterceptor：可以自定义事件的header的value
type = static
用于向每个处理的event插入任意单个的键/值头。默认为保留已存在的具有相同键的头。
也可以理解为自定义标签。
（3） HostInterceptor：使用IP或hostname拦截
type = host
如果未指定hostHeader，则头的键就是host。useIP默认为true，即值使用IP，当设定为false，则value为hostname。preserveExisting属性代表是否覆盖消息头中已经有的IP，默认为false。
2.1.2 选择器 Selector
有两种模式：replicating、multiPlexing。
（1）replicating （默认）：复制。把所有event发送到每一个channel中，也反映了sorces与channels可以是一对多的关系。
a1.sources = r1
a1.channels = c1 c2 c3
a1.source.r1.selector.type = replicating
a1.source.r1.channels = c1 c2 c3
a1.source.r1.selector.optional = c3
（2） multiPlexing：分流。这要求指定到一个通道集合的映射事件属性。Selector会在事件头检查每一个配置属性，若匹配该value，则把event发给该channels（这mapping允许每一个value有重复的channel），若都不匹配，则可以发给默认(default)的channels。
a1.sources = r1
a1.channels = c1 c2 c3 c4
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = datetype
a1.sources.r1.selector.mapping.TYPE_A = c1
a1.sources.r1.selector.mapping.TYPE_B= c2 c3
a1.sources.r1.selector.default = c4
2.2 Flume Channels
Memory-channel效率高但可能丢失数据，file-channel安全性高但性能不高。这里用的是memory-channel，但如果把capacity设置的足够小，使内存中的数据尽可能少，在意外重启或断电时丢失的数据就会很少了。
2.3 Flume Sinks
2.3.1 文件命名
当sink的type为hdfs格式时，可以指定文件的前缀与后缀，前提是消息头设置有IP和时间戳。
a1.sinks.k1.hdfs.filePrefix = %{hostname}-%y-%m-%d
a1.sinks.k1.hdfs.fileSuffix = .log
%{hostname} ：取消息头中的主机名作为文件名的一部分。
%y-%m-%d ：取消息头中的时间戳作为文件名的一部分，此时间格式可根据需要修改。
fileSuffix = .log 文件后缀为.log，当文件还未关闭时，此后缀的后面还有一个.tmp尾巴，通过inUseSuffix将此.tmp(默认)消去：a1.sinks.k1.hdfs.inUseSuffix =
2.3.2 rollInterval、rollSize、rollCount
在54.0.95.67主机中，sink的type为hdfs，rollInterval、rollSize以及rollCount可以很好的控制hdfs文件的大小。
（1） rollInterval 默认为30秒，即每隔30秒建立一个新的文件，此处可以根据需要设置合理的按时间间隔生成一个新文件。
（2） rollSize 默认为1024个字节，当文件数据达到此大小，则产生一个新的文件。经验证，若某个event的传入超过了rollSize，且传入之前未满，则该event依然装入该文件，下一个event则另起一个新文件。
（3） rollCount 默认为10，即一个文件装10个event。
若三个值都设定为0，则hdfs就只有一个文件，里面是变得越来越大的文件。
2.3.3 文件类型 filetype
（1）序列文件 SequenceFile (默认)
通常文件会以换行符确定每一条记录，若数据中含有换行符，使用SequenceFile可以解决问题。
（2）数据流DataStream
只输出未压缩的值。
（3）压缩流 CompressedStream
类似DataStream，但是数据写入时会被压缩。在MapReduce中只有某些压缩格式才可能进行分割。
3、注意点
3.1 JDK版本不兼容问题
JDK用1.6或1.6以上版本。
3.2 对应关系
Sources与channnels可以是一对一或者一对多关系，不可以多对一。
Channels与sinks是一对一关系或者多对一。
3.3 收到多份相同数据
若发现新增一条数据，却可以收到多份相同数据，原因是未正常关闭tail，有多个tail进程在同时跑。
3.4 HDFS目录
当sinks的type为hdfs时，文件目录需要在主机master中建立。
4、flume各组件支持的类型
4.1 flume source 支持的类型
|
Source类型 |
说明 |
|
Avro Source |
支持Avro协议（实际上是是Avro RPC） |
|
Syslog Source |
支持UDP和TCP两种协议 |
|
HTTP Source |
基于HTTP POST或get方式的数据，支持JSON,BLOB表示形式。 |
|
Spooling Dir Source |
监控指定目录内数据变更 |
|
Netcat Source |
监控某个端口 |
|
Exec Source |
基于Unix的command |
|
…… |
…… |
4.2 flume channel 支持的类型
|
Channel类型 |
说明 |
|
Memory Channel |
Event数据存储在内存中 |
|
JDBC |
数据存储在持久化存储中，当前channel 内置支持Derby |
|
File Channel |
数据存储在磁盘文件中 |
|
…… |
…… |
4.3 flume sink支持的类型
|
Sink 类型 |
说明 |
|
HDFS Sink |
数据写入HDFS |
|
Logger Sink |
数据写入日志文件 |
|
Avro sink |
数据被转换成Avro Event ,在发送到配置的RPC端口上 |
|
File Roll Sink |
存储数据到本地文件系统 |
|
Null Sink |
丢弃掉所有数据 |
|
Hbase Sink |
数据写入Hbase数据库 |
|
…… |
…… |
