摘要：
!!!1.Memory Channel 内存通道 事件将被存储在内存中的具有指定大小的队列中。 非常适合那些需要高吞吐量但是失败是会丢失数据的场景下。 属性说明： !type – 类型，必须是“memory” capacity 100 事件存储在信道中的最大数量 transactionCapacit 阅读全文
摘要：
1.概述 Flume有能力在运行阶段修改/删除Event，这是通过拦截器（Interceptors）来实现的。 拦截器需要实现org.apache.flume.interceptor.Interceptor接口。 拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。 拦截器采用了责任链模式， 阅读全文
摘要：
1.概述 Sink Group允许用户将多个Sink组合成一个实体。 Flume Sink Processor 可以通过切换组内Sink用来实现负载均衡的效果，或在一个Sink故障时切换到另一个Sink。 sinks – 用空格分隔的Sink集合 processor.type default 类型名 阅读全文
摘要：
选择器可以工作在复制 多路复用(路由) 模式下 属性说明： selector.type replicating 类型名称，必须是 replicating selector.optional – 标志通道为可选 案例： 参看avro sink案例 属性说明： selector.type 类型，必须是" 阅读全文
摘要：
记录INFO级别的日志，通常用于调试。 属性说明： !channel – !type – The component type name, needs to be logger maxBytesToLog 16 Maximum number of bytes of the Event body to 阅读全文
摘要：
监听AVRO端口来接受来自外部AVRO客户端的事件流。 利用Avro Source可以实现多级流动、扇出流、扇入流等效果。 另外也可以接受通过flume提供的Avro客户端发送的日志信息。 支持的属性: !channels – !type – 类型名称，"AVRO" !bind – 需要监听的主机名 阅读全文
摘要：
首先需要通过一个配置文件来配置Agent。 通过flume提供的工具启动agent就可以工作了。 (1)编写配置文件 ＃example.conf：单节点Flume配置 ＃命名Agent a1的组件 a1.sources = r1 a1.sinks = k1 a1.channels = c1 ＃描述/ 阅读全文
摘要：
Flume Event - Flume 事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。 Flume Agent- Flume - 代理 - 是一个进程承载从外部源事件流到下一个目的地的过程。 Source - 数据源 - 消耗外部传递给他的事件，外部源将数据按照Flume So 阅读全文
摘要：
下载 可以apache官网下载flume的安装包 下载时注意，flume具有两个版本，0.9.x和1.x,两个版本并不兼容，我们用最新的1.x版本，也叫flume-ng版本。 安装 解压到指定目录即可 下载 可以apache官网下载flume的安装包 下载时注意，flume具有两个版本，0.9.x和 阅读全文
摘要：
flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。 是apache的一个顶级项目。 系统需求：jdk1.6以上，推荐java1.7 阅读全文