FLUME安装&环境(一):netcat类型配置

1.下载软件

在 /opt/deploy 下新建 flume 文件夹:

 # mkdir / opt/deploy / flume

到Flume官网上http://flume.apache.org/download.html下载软件包,例如:

wget "http://mirrors.cnnic.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz"

解压命令:   tar -xzvf apache-flume-1.8.0-bin.tar.gz

删除命令:   rm -f 压缩包名称(rm -f apache-flume-1.8.0-bin.tar.gz)

如果解压目录不是安装目录可以进行移动--mv flume-1.8.0 /opt/deploy/flume

2. 配置环境变量

编辑/etc/profile文件

vi /etc/profile

(注意:FLUME_HOME的路径是你实际解压后的JDK的路径,千万别写错了)

export FLUME_HOME=/opt/deploy/flume/apache-flume-1.8.0-bin

export FLUME_CONF_DIR=$FLUME_HOME/conf

export PATH=.:$PATH::$FLUME_HOME/bin

3.修改配置文件(source类型为netcat,信息来自本地,抽取到日志)

vi /opt/deploy/flume/apache-flume-1.8.0-bin/conf/flume.conf

 

输入以下内容

 

# 指定Agent的组件名称

a1.sources = r1

a1.channels = c1

a1.sinks = k1

 

# 指定Flume source(要监听的路径)

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 8888

 

# 指定Flume channel

a1.channels.c1.type = memory

a1.channels.c1.keep-alive = 60

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

 

# 指定Flume sink--测试为logger

#存储到本地存储中

#a1.sinks.k1.type = file_roll

#日志形式

a1.sinks.k1.type = logger

#a1.sinks.k1.directory = /tmp/log/flume

# 绑定source和sink到channel上

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

 

4.配置telnet

因为是本地netcat测试,需要连接telnet,先要测试是否安装telnet

先检查CentOS7.0是否已经安装以下两个安装包:telnet-server、xinetd。命令如下:

 rpm -qa telnet-server

 rpm -qa xinetd

如果没有安装,则先安装。安装命令:

1.1安装telnet

yum list |grep telnet

yum install telnet-server.x86_64

yum install telnet.x86_64

1.2安装xinetd

yum list |grep xinetd

yum install xinetd.x86_64

安装完成后,将xinetd服务加入开机自启动:

systemctl enable xinetd.service

将telnet服务加入开机自启动:

systemctl enable telnet.socket

1.3重启服务

最后,启动以上两个服务即可:

由于telnet服务也是由xinetd守护的,所以安装完telnet-server,要启动telnet服务就必须重新启动xinetd 。

systemctl start telnet.socket

systemctl start xinetd

1.4开启端口

CentOS 7 采用了 firewalld 防火墙,查询是否开启23端口

# firewall-cmd --query-port=23/tcp

no

显示23端口没有开启使用下面命令开启23端口

# firewall-cmd --zone=public --add-port=23/tcp --permanent

success

重新加载firewall-cmd

# firewall-cmd --complete-reload

success

重新查询23端口是否开放

# firewall-cmd --query-port=23/tcp

yes

success表示已开启!现在可以用telnet命令远程登陆CentOS7快乐玩耍了!

 

5.启动FLUME

 

要在flume的安装目录的bin目录下启动

#启动命令

flume-ng agent -c /opt/deploy/flume/apache-flume-1.8.0-bin/conf -f /opt/deploy/flume/apache-flume-1.8.0-bin/conf/flume.conf -n a1 -Dflume.root.logger=INFO,console

 

a1为配置的agent名,-c和-f后是flume的安装路径(必须一致才能启动成功)

 

6.发送消息,验证连接

Flume启动成功后,重新打开一个连接,输入telnet localhost 8888 ,显示连通后发生消息hello,在启动窗口查看,可以看到收到消息,本地flume搭建成功。

posted @ 2018-12-12 09:45  Alice口袋有糖  阅读(747)  评论(0编辑  收藏  举报