flume

flume数据采集

各种各样的数据源--》读数据，缓存数据，写数据--各种各样的目标存储系统

缓存数据：内存，本地磁盘文件

读数据：任何数据都封装成event对象；组件接口（source），根据各种数据源写source实现类

event：head{描述信息}，body{数据}

写数据：组件接口（sink），根据目标存储系统写sink实现类

常用实现类已经写好，只用修改实现类的配置文件

flume工作机制：可以启动flume的agent程序进行数据采集，每个agent程序中包含三大组件：source，channel，sink，agent根据需要可以在多台机器上启动