Flume协作框架
1.概述
-》flume的三大功能
collecting, aggregating, and moving
收集 聚合 移动
2.框图
3.架构特点
-》on streaming data flows
基于流式的数据
数据流：job-》不断获取数据
任务流：job1->job2->job3&job4
-》for online analytic application.
-》Flume仅仅运行在linux环境下
如果我的日志服务器是Windows？
-》非常简单
写一个配置文件，运行这个配置文件
source、channel、sink
-》实时架构
flume+kafka spark/storm impala
-》agent三大部分
-》source：采集数据，并发送给channel
-》channel：管道，用于连接source和sink的
-》sink：发送数据，用于采集channel中的数据
4.Event
5.Source/Channel/Sink
二：配置
1.下载解压
下载的是Flume版本1.5.0
2.启用flume-env.sh
3.修改flume-env.sh
4.增加HADOOP_HOME
因为在env.sh中没有配置，选择的方式是将hdfs的配置放到conf目录下。
5.放入jar包
6.验证
7.用法
三：Flume的使用
1.案例1
source：hive.log channel:mem sink:logger
2.配置
cp flume-conf.properties.template hive-mem-log.properties
3.配置hive-mem-log.properties
4.运行
那边是日志级别
5.注意点
这边的属于实时采集，所以在控制台上的信息随着hive.log的变化在变化
6.案例二
source：hive.log channel:file sink:logger
7.配置
cp hive-mem-log.properties hive-file-log.properties
8.配置hive-file-log.properties
新建file的目录
配置
9.运行
10.结果
11.案例三
source：hive.log channel:mem sink:hdfs
12.配置
cp hive-mem-log.properties hive-mem-hdfs.properties
13.配置hive-mem-hdfs.properties
14.运行
验证了，在配置文件中不需要有这个目录，会自动产生。
四：企业思考一
15.案例四
因为在hdfs上会生成许多小文件，文件的大小的设置。
16.配置
cp hive-mem-hdfs.properties hive-mem-size.properties
17.配置hive-mem-size.properties
18.运行
19.结果
20.案例五
按时间进行分区
21.配置
cp hive-mem-hdfs.properties hive-mem-part.properties
22.配置hive-mem-part.properties
23.运行
bin/flume-ng agent -c conf/ -n a1 -f conf/hive-mem-part.properties -Dflume.root.logger=INFO,console
24.运行结果
25.案例六
自定义文件开头
26.配置hive-mem-part.properties
27.运行效果
五：企业思考二
1.案例七
source：用来监控文件夹
文件中先存在.tmp
到第二日出现新的.tmp文件。前一天的.tmp马上变成log结尾，这时监控文件夹时，马上发现出现一个新的文件，就被上传进HDFS
2.配置
cp hive-mem-hdfs.properties dir-mem-hdfs.properties
3.正则表达式忽略上传的.tmp文件
3.配置dir-mem-hdfs.properties
新建文件夹
配置
4.观察结果
5.案例二
source：监控文件夹下文件的不断动态追加
但是现在不是监控新出现的文件下，
这个配置将在下面讲解
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
六：企业实际架构
1.flume多sink
同一份数据采集到不同的框架
采集source：一份数据
管道channel：案例中使用两个管道
目标sink：多个针对于多个channel
2.案例
source：hive.log channel:file sink:hdfs
3.配置
cp hive-mem-hdfs.properties sinks.properties
4.配置sink.properties
新建存储的文件
配置
5.效果
6.flume的collect
7.案例
启动三台机器，其中两台为agent，一台collect。
192.168.134.241：collect
192.168.134.242：agent
192.168.134.243：agent
8.情况
因为没有搭建cdh集群，暂时不粘贴
9.运行
运行：collect
bin/flume-ng agent -c conf/ -n a1 -f conf/avro-collect.properties -Dflume.root.logger=INFO,console
运行：agent
bin/flume-ng agent -c conf/ -n a1 -f conf/avro-agent.properties -Dflume.root.logger=INFO,console
七：关于文件夹中文件处于追加的监控
1.安装git
2.新建一个文件下
3.在git bash 中进入目录
4.在此目录下下载源码
5.进入flume目录
6.查看源码有哪些分支
7.切换分支
8.复制出flume-taildir-source
九。编译
1.pom文件
2.在1.5.0中添加一个1.7.0中的类
PollableSourceConstants
3.删除override
4.编译
run as -> maven build
goals -> skip testf
5.将jar包放在lib目录下
6.使用
因为这是1.7.0的源码，所以在1.5的文档中没有。
所以：可以看源码
或者看1.7.0的参考文档关于Tail的介绍案例
\flume\flume-ng-doc\sphinx\FlumeUserGuide
7.配置
