日志收集框架flume的安装及简单使用
flume介绍
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
一般的采集需求，通过对flume的简单配置即可实现
Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景
flume运行机制
1、 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成
2、 每一个agent相当于一个数据传递员，内部有三个组件：
a) Source：采集源，用于跟数据源对接，以获取数据
b) Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据
c) Channel：angent内部的数据传输通道，用于从source将数据传递到sink
flume采集系统结构
单个agent采集数据：
多个agent串联采集数据：
flume的安装部署（前提：已有hadoop集群环境）
1、上传安装包到数据源所在节点上（这里是hadoop1）
在SecureCRT中，开启集群环境。
cd /usr/local/
ALT + Ｐ，进入到sftp中，然后拖动安装包，就上传到了/usr/local/目录下。
2、解压tar -zxvf apache-flume-1.6.0-bin.tar.gz
删除安装包rm -rf apache-flume-1.6.0-bin.tar.gz
重命名mv apache-flume-1.6.0-bin flume
3、在conf/flume-env.sh里面配置JAVA_HOME
cp flume-env.sh.template flume-env.sh
vi flume-env.sh
export JAVA_HOME=/usr/local/jdk
4、根据数据采集的需求配置采集方案，描述在配置文件中（文件名可自定义）
5、指定采集方案配置文件，在相应的节点上启动flume agent
示例测试环境是否正常？（监听网络端口接收数据）
1、先在flume/conf/目录下新建一个配置文件 vi netcat-logger.conf
|
# 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1
# 描述和配置source组件：r1 #netcat可以设置读取一行数据的长度，否则这样的话，一行数据太长，只会读取到前一部分 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444
# 描述和配置sink组件：k1 a1.sinks.k1.type = logger
# 描述和配置channel组件，此处使用是内存缓存的方式 #capacity：默认该通道中最大的可以存储的event数量
#trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量
a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100
# 描述和配置source channel sink之间的连接关系 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 |
2、启动agent去采集数据（在flume目录下执行这个命令）
|
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console |
-c conf 指定flume自身的配置文件所在目录
-f conf/netcat-logger.conf 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字
注意：
本人在启动的时候出现了错误。有两处改动一下就行了。可以查看flume-ng，查看相关用法。（在bin目录下执行 将配置文件的路径改为全路径）
flume-ng agent -c conf -f /usr/local/flume/conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
3、测试
先要往agent采集监听的端口上发送数据，让agent有数据可采
随便在一个能跟agent节点联网的机器上
可以本地hadoop1向自己发送数据（亲自操作成功）
也可以在别的机器上hadoop2或者hadoop3向hadoop1发送数据（没有操作成功，出现连接拒绝！！！）
telnet agent-hostname port （telnet localhost 44444）
注意：
在hadoop2上，使用telnet命令时，出现错误，提示没有这个命令！！！
rpm -qa | grep telnet* 发现没有安装Telnet。所以需要在Linux安装Telnet。
安装Telnet的方法：
1、安装xinetd:yum install xinetd（安装之前要先安装#yum install xinetd (注意在root下安装）因为，telnet要依靠xinetd服务启动，所以要先安装该服务）
2、安装Telnet服务端：yum install telnet-server
3、安装Telnet客户端：yum install telnet.*
4、配置Telnet：
vi /etc/xinetd.d/telnet
将里面的disable=yes改为disable=no
注意：Telnet服务只允许非root用户登录！！！
