随笔分类 - Flume
摘要：一.简单实现 需求：根据 flume 监控 exec 文件的追加数据，写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1）flume的配置文件 在hadoop102上创建flume的配置文件 # define a
阅读全文
摘要：Agent的配置文件最好根据Flume的拓扑架构，依次写好每个节点的配置文件； 一.Agent 开头都是先要定义agent，sorce，channel，sink名 # Name the components on this agent（ 描述这个Agent，给各个组件取名字） a1.sources
阅读全文
摘要：一.Flume 数据传输流程 重要组件： 1）Channel选择器（ChannelSelector） ChannelSelector的作用就是选出Event将要被发往哪个Channel。其共有两种类型，分别是Replicating（复制）和**Multiplexing**（多路复用）。 Re
阅读全文
摘要：一.安装部署 下载安装包，解压，分发多节点 1.安装地址 （1） Flume官网：http://flume.apache.org/ （2）文档查看：http://flume.apache.org/FlumeUserGuide.html （3）下载：http://archive.apache.org/
阅读全文
摘要：一.Flume定义 Flume是Cloudera公司提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 Flume最主要的作用就是，实时读取服务器的本地磁盘的数据，将数据写入到HDFS。 二.Flume基础架构 Flume基本组成架构如下
阅读全文
