Flume

Flume是分布式的、可靠的、高可用的海量日志采集、聚合、传输系统。支持各种数据来源。

版本分为flume0.9x/flume-og和flume1.x/flume-ng，我们用的是flume-ng

flume-og引入了zookeeper和master

flume-ng去掉了zookeeper和master，读入和写出数据是由不同的线程处理。读入线程同样做写出工作。如果写出慢的话，将阻塞flume接收数据的能力。这种异步的设计使得读入线程可以顺畅的工作而无需关注下游的任何问题。

flume的核心是agent。agent是一个java进程，运行在日志收集端，通过agent接收日志，然后暂存起来，在发送到目的地。

Flume 是基亍Source 和 Sink 模式 . Source作为输入，Sink作为最终输出. 而连接 Source 和 Sink 的是 Channel.

从Source获取数据封装成Event，然后将Event发送到Channel，Sink从Channel拿Event消费，sink主动取数据

Flume 的结构当中，有几个重要的组件：
– Flume Event：从Source获取数据后会先封装成Event,它是从一个源传输到另一个源的基本单位，其中包含 headers and 一个body.
headers 相当亍键值对（可选），多个键值对，用亍路由
body 消息体.
-Client:把产生的数据发送到Flume Agent 当中，相当亍Flume收集的数据的产生端，比如：log4j flume appender是一个定制的客户端，它是基亍Flume 客户端软件开发工具包。
-Flume Agent: Flume运行的核心是agent。它是一个完整的数据收集工具，含有三个核心组件，分别是Source、 Channel、 Sink。 Event从Source，流向Channel，再到Sink，本身为一个byte数组，并可携带headers信息

• Agent
-Flume Source：与用亍收集日志的，可以处理各种类型各种格式的日志数据,包括avro、 netcat、 thrift、 exec、 jms、 syslog等。source组件把数据收集来以后，临时存放在channel中。
-Flume Channel：在agent中与用亍临时存储数据的，可以存放在memory、 jdbc、 file 、自定义。
channel中的数据只有在sink发送成功后才会被删除。
-Flume Sink：用亍把数据发送到目的地的组件，目的地包括hdfs、 logger、 avro、 thrift、 file、 hbase、 solr、自定义等。

Flume 的可靠性
– Flume使用事务（transactional）来保证可靠性，它的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地前，会先缓存数据，待数据真正到达目的地后，删除自己缓存的数据

• Flume Interceptors（拦截器）
-flume通过拦截器实现修改和丢弃event的功能。用户可以修改或者丢弃event。 Flume支持链式拦截，通过在配置中指定构建的拦截器类的名称。在source的配置中，拦截器被指定为一个以空格为间隔的列表。拦截器按照指定的顺序调用。
-event由头(headers)和身体(body)两部分组成，interceptor 用亍修改headers内容。