2019年1月2日

Flume(3)-安装部署

摘要： 一. 下载 Flume官网地址 http://flume.apache.org/ 文档查看地址 http://flume.apache.org/FlumeUserGuide.html 下载地址 http://archive.apache.org/dist/flume/ 二. 安装 将apache-f 阅读全文

posted @ 2019-01-02 18:32 nt杨 阅读(151) 评论(0) 推荐(0) 编辑

Flume(2)-拓扑结构与Agent内部原理

摘要： 一. 拓扑结构 1. 串行模式 这种模式是将多个flume给顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。此模式不建议桥接过多的flume数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。 2. 单Source多C 阅读全文

posted @ 2019-01-02 18:19 nt杨 阅读(577) 评论(1) 推荐(0) 编辑

Flume(1)-概述与组成架构

摘要： 一. 定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 二. 优点 1. 可以和任意集中式存储进程集成。 2. 输入的的数据速率大于写入目的存储的速率，flume会进行缓冲，减小hdfs的压力。 3. flum 阅读全文

posted @ 2019-01-02 18:08 nt杨 阅读(1879) 评论(0) 推荐(0) 编辑

导航