flume基本概念及相关参数详解
1、flume是分布式的日志收集系统，把手机来的数据传送到目的地去
2、flume传输的数据的基本单位是 event，如果是文本文件，通常是一行记录。
event代表着一个数据流的最小完整单元，由零个或多个header和正文组成，header类似于http头，包含时间的时间戳或者来源服务器主机名等。
3、flume里面有个核心概念，叫做agent,agent是一个java进程，运行在日志收集节点。
4、agent里面包含3个核心组件:source、channel、sink.
说明：
-
source组件是专用于收集日志的，可以处理各种格式的日志数据 ，包括avro、thrift、exec、jms、spooling、directory、netcat、 sequence、 generator、syslog、http、legacy、自定义。source组件把数据收集来以后，临时存放在channel中。
-
channel组件是在agent中专用于临时存储数据的，可以存放在memory、jdbc、file、自定义。channel中的数据只有在sink发送成功之后才会被删除。
-
sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、solr、自定义
5、在整个数据传输过程中，流动的是event。事务保证是event级别。
6、flume可以支持多级flume的agent，支持扇入（fan-in）、扇出(fan-out)
注意：
1、一个source写event到一个或者多个channels中。
2、一个channel是event从source传输到sink的等候区；
3、一个sink只可以从一个channel中接收events;
4、一个agent可以有多个source、channel和sink
7、组件类型说明
source:
channel:
sink:
8、参数配置详解
Server：
(1) SpoolDirectoryTailFileSource:默认是按行读取，可以保证数据的完整性，即使flume重启或者被杀掉。
(2) trackerDir:存储处理文件相关的元数据的目录，如果不是绝对路径，那么将是spoolDir的相对路径。
(3) consumeOrder:转换文件的顺序 oldest|youngest|random
(4)batchSize:批量传输到Channel的粒度
(5)inputCharset：反序列化实验的字符集
(6) decodeErrorPolicy：如果解析失败的字符时应该如何处理，默认是FAIL，还可以选择IGNORE和REPLACE，FAIL时会抛出Exception,flume整个进程会阻塞在这，IGNORE会忽略此字符，REPLACE会用另一个字符替代。
(7)deserializer:这种反序列化器会将输入的文件的每行生成一个event
(8)deserializer.maxLineLength:默认是2048，大于这个字符数的行将被截断
(9)avro type:支持Avro协议（实际上是Avro RPC）,内置支持
(10)sinkgroups:通过sink组来选择当中优先级高的哪个作为被激活的sink.没有负载平衡处理，只是做到容灾。其中包括了两个sink,两个sink分别指向不同的flume-agent
(11)memory channel:如果虚拟机或机器重新启动，任何缓冲区中的数据将丢失。
(12)最好不要一个flume agent配置多个端口【影响性能】,配在一台机子上通过端口区分，一旦死机，全盘崩溃
Client:
(1)producer.max.request.size:每次producer请求的最大的字节数
(2)useLocalTimeStamp:是否使用本地时间戳
(3) rollInterval:多久生成一个新文件，若为0，则一直为一个文件。
(4)rollSize:每个文件滚动大小
(5)rollCount:若为0表示文件的滚动与event数量无关
(6)idleTimeout:如果文件在hdfs.idleTimeout秒的时间里都是闲置的，没有任何数据写入，那么当前文件关闭，滚动到下一个文件
(7)transactionCapacity:事务容量，Channel每次提交的Event数量
Taildir与spooltailfiledirectory:taildir不能自动识别新文件；不支持文件名修改，容易重复上传；taildir不支持断点续传。
Flume采集流程：
往文件中写内容，触发flume agent server 的spoolTailFiledirectory,这样内容就会通过flume agent server到memory channel中，在
通过failover机制选择优先级高的sink去输出，最终输出的地方，由最后一环的flume配置中sink.type决定，可以是kafka,hdfs等等。
