Flume 案例 Telnet安装及采集Telnet发送信息到控制台
Telnet安装
一、查看本机是否安装telnet
#rpm -qa | grep telnet
如果什么都不显示。说明你没有安装telnet
二、开始安装
yum install xinetd
yum install telnet
yum install telnet-server
三、装好telnet服务之后，默认是不开启服务的，下面我们需要修改文件来开启服务。
vim /etc/xinetd.d/telnet 修改 disable = yes 为 disable = no
四、需要激活xinetd服务
# service xinetd restart 或者 #/etc/rc.d/init.d/xinetd restart
Flume监听Telnet发送的信息
1、先在flume的conf目录下新建一个文件
vi telnet_agent.conf
|
# 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1
# 描述和配置source组件：r1 a1.sources.r1.type = netcat a1.sources.r1.bind = gec01 a1.sources.r1.port = 44444
# 描述和配置sink组件：k1 a1.sinks.k1.type = logger
# 描述和配置channel组件，此处使用是内存缓存的方式 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100
# 描述和配置source channel sink之间的连接关系 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 |
2、启动agent去采集数据
|
bin/flume-ng agent -c conf -f conf/telnet_agent.conf -n a1 -Dflume.root.logger=INFO,console |
-c conf 指定flume自身的配置文件所在目录
-f conf/telnet_agent.conf 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字
3.测试
在hadoop-002上发送消息
hadoop-001上接收到信息
