source学习网址：
http://flume.apache.org/FlumeUserGuide.html
一、Avro 类型的Source
监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro序列化后的数据。而netcat接收的是字符串格式。
利用Avro source可以实现多级流动、扇出流、扇入流等效果。
另外，也可以接收通过flume提供的avro客户端发送的日志信息。
Avro Source可配选项说明
实现步骤：
1.修改配置文件，source的type属性为avro
2.根据指定的配置文件启动flume
格式代码，template-avro.conf为例子：
#配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 a1.sinks=s1 #描述/配置a1的source1 a1.sources.r1.type=avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=44444 #描述sink a1.sinks.s1.type=logger #描述内存channel a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 #位channel 绑定 source和sink a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
3.执行启动指令，如果出现如下提示，证明启动成功
进入到bin目录执行指令：
./flume-ng agent --conf ../conf --conf-file ../conf/template-avro.conf --name a1 -Dflume.root.logger=INFO,console
4.创建文件
在flume安装目录下创建文件夹mydata，并在文件夹里面创建文件 1.txt，并填入内容。
5.执行agent-avro客户端指令：
./flume-ng avro-client -H 0.0.0.0 -p 44444 -F ../mydata/1.txt -c ../conf/
（注：可以通过执行：./flume-ng help 来查看指令）
二、Exec类型的Source
可以将命令产生的输出作为源
Exec Source 可配置选项说明
实现步骤：
1.修改配置文件，source的type属性为avro
配置代码：
#配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 a1.sinks=s1 #描述/配置a1的source1 a1.sources.r1.type=exec a1.sources.r1.command=ping 192.168.234.163 #描述sink a1.sinks.s1.type=logger #描述内存channel a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 #位channel 绑定 source和sink a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
2.进入到bin目录执行指令：
./flume-ng agent --conf ../conf --conf-file ../conf/template-exec.conf --name a1 -Dflume.root.logger=INFO,console
结果为ping 当前主机返回的结果（也可以尝试其他的linux指令，比如 cat 1.txt 查看文件内容）
三、Spooling Directory类型的 Source
将指定的文件加入到“自动搜集”目录中。flume会持续监听这个目录，把文件当做source来处理。注意：一旦文件被放到“自动收集”目录中后，便不能修改，如果修改，flume会报错。此外，也不能有重名的文件，如果有，flume也会报错。
实现步骤：
1.配置示例：
#配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 a1.sinks=s1 #描述/配置a1的source1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/home/work/data #描述sink a1.sinks.s1.type=logger #描述内存channel a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 #位channel 绑定 source和sink a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
2.创建相关的文件夹
3.根据指定的配置文件，启动flume
./flume-ng agent -n a1 -c ../conf -f ../conf/spooling.conf -Dflume.root.logger=INFO,console
出现下图，证明flume正在监听指定的文件目录：
4.向指定的文件目录下传送一个日志文件，发现flume的控制台打印相关的信息。
此外，会发现被处理的文件，会追加一个后缀：completed，表示已处理完。（重名文件包括已加后缀的文件）
四、NetCat Source
一个NetCat Source用来监听一个指定端口，并接收监听到的数据。
配置示例：
#配置Agent a1 的组件 a1.sources=r1 a1.channels=c1 a1.sinks=s1 #描述/配置a1的r1 a1.sources.r1.type=netcat a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=44444 #描述a1的s1 a1.sinks.s1.type=logger #描述a1的c1 a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 #位channel 绑定 source和sink a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
五、Sequence Generator Source --序列发生源
一个简单的序列发生器，不断的产生事件，值是从0开始每次递增1。主要用来测试。
可配置选项：
配置示例：
#配置Agent a1 的组件 a1.sources=r1 a1.sinks=s1 a1.channels=c1 #描述/配置a1的source1 a1.sources.r1.type=seq #描述sink a1.sinks.s1.type=logger #描述内存channel a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 #位channel 绑定 source和sink a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
六、HTTP source
此Source接受HTTP的GET和POST请求作为Flume的事件。其中GET方式应该只用于试验。
如果想让flume正确解析Http协议信息，比如解析出请求头、请求体等信息，需要提供一个可插拔的"处理器"来将请求转换为事件对象，这个处理器必须实现HTTPSourceHandler接口。
这个处理器接受一个 HttpServletRequest对象，并返回一个Flume Envent对象集合。
flume提供了一些常用的Handler（处理器）：
JSONHandler
可以处理JSON格式的数据，并支持UTF-8 UTF-16 UTF-32字符集
该handler接受Evnet数组，并根据请求头中指定的编码将其转换为Flume Event
如果没有指定编码，默认编码为UTF-8.
JSON格式如下：
[{ "headers" : { "timestamp" : "434324343", "host" : "random_host.example.com" }, "body" : "random_body" }, { "headers" : { "namenode" : "namenode.example.com", "datanode" : "random_datanode.example.com" }, "body" : "really_random_body" }]
BlobHandler
BlobHandler是一种将请求中上传文件信息转化为event的处理器。
参数说明，加！为必须属性：
！handler – The FQCN of this class: org.apache.flume.sink.solr.morphline.BlobHandler
handler.maxBlobLength 100000000 The maximum number of bytes to read and buffer for a given request
配置示例：
#配置Agent a1 的组件 a1.sources=r1 a1.sinks=s1 a1.channels=c1 #描述/配置a1的source1 a1.sources.r1.type=http a1.sources.r1.port=8888 #描述sink a1.sinks.s1.type=logger #描述内存channel a1.channels.c1.type=memory a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 #位channel 绑定 source和sink a1.sources.r1.channels=c1 a1.sinks.s1.channel=c1
2.执行启动命令
3.执行curl 命令，模拟一次http的Post请求
curl -X POST -d '[{"headers":{"a":"a1"},"body":"hello 123"}]' http://0.0.0.0:8888
注：这种格式是固定的，因为我们用的是flume自身提供的Json格式的Handler。此外，需要包含header 和body两关键字，这样，handler在解析时才能拿到对应的数据
