Flume

Flume官网：http://flume.apache.org/ 

 

Flume和Kafaka使用上的区别：

　　采集的数据放到HDFS为MR进行使用，选择Flume

 

 

Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成

 每一个agent相当于一个数据传递员，内部有三个组件：

a)         Source：采集源，用于跟数据源对接，以获取数据

b)         Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据

c)         Channel：angent内部的数据传输通道，用于从source将数据传递到sink

Source 到 Channel 到 Sink之间传递数据的形式是Event事件；Event事件是一个数据流单元。

 

单级agent采集数据：

 

多级agent串联：