Flume安装

1、下载Flume

版本为apache-flume-1.9.0-bin

链接：https://pan.baidu.com/s/1dSJhZBb6Rz__WYNhM2HzkQ 

提取码：1234

2、解压配置

解压后，将conf目录下的flume-env.sh.template复制并改名为flume-env.sh

 

修改flume-env.sh的JDK路径

export JAVA_HOME=/xx/jdk/jdk1.8.0_201

 

3、在conf文件夹下创建netcat-logger.conf

# 定义这个agent中各组件的名字，给那三个组件sources，sinks，channels取个名字,是一个逻辑代号:
# a1是agent的代表。
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# type是类型，是采集源的具体实现，这里是接受网络端口的，netcat可以从一个网络端口接受数据的。
# bind绑定本机IP（如果配置了hosts映射，那么可以填主机名）。port端口号为444。
a1.sources.r1.type = netcat
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 444
  
# type，下沉类型，使用logger，将数据打印到屏幕上面。

a1.sinks.k1.type = logger

# type类型是内存memory。
# capacity：默认该通道中最大的可以存储的event数量，1000是代表1000条数据。
# trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量。
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 将sources和sinks绑定到channel上面。
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

 

4、运行flume　　

bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console

　　

5、验证：

在window下telnet IP port，然后发送数据

 

 flume接收到的数据

 

 

参考：

1、 https://blog.csdn.net/ruiqu1650914788/article/details/124993210

2、 https://zhuanlan.zhihu.com/p/511455862