寒假6

今天学习大数据采集和导入

任何完整的数据平台一般都有以下几个过程：

数据采集 数据储存 数据管理 输出处理 数据展现 

flume架构

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。

 

 了解 flume源 flume拦截器 通道选择器 通道 接收器