flume入门案例

1. flume运用之一监控端口数据：

# 配置flume的代理类的名称为：telenetAgentName

# 配置flume的数据来源名称为：telenetSource
telenetAgentName.sources = telenetSource

#配置flume的数据输出的目的地的名称为：telenetSinks
telenetAgentName.sinks = telenetSinks

#配置flume的数据传输管道名称为：telenetChannel
telenetAgentName.channels = telenetChannel

 

# 配置flume的数据来源的类型为：netcat 端口类型
telenetAgentName.sources.telenetSource.type = netcat

#配置flume的数据来源主机地址
telenetAgentName.sources.telenetSource.bind = localhost

#配置flume的数据来源主机的端口号
telenetAgentName.sources.telenetSource.port = 44444

 

# 数据输出目的地的类型是控制台日志类型
telenetAgentName.sinks.telenetSinks.type = logger

 

# 配置数据传输管道使用类型是 内存
telenetAgentName.channels.telenetChannel.type = memory

#数据传输管道的总容量是1000个event（事件）
telenetAgentName.channels.telenetChannel.capacity = 1000

#每次收集到100个事件在进行提交事务
telenetAgentName.channels.telenetChannel.transactionCapacity = 100

# 指定数据传输管道使用那个管道
telenetAgentName.sources.telenetSource.channels = telenetChannel
#指定数据传输目的地使用那个管道
telenetAgentName.sinks.telenetSinks.channel = telenetChannel

启动flume并且指定配置文件：
/opt/module/flume-1.8.0-bin/bin/flume-ng agent
#指定配置文件的路径
--conf /opt/module/flume-1.8.0-bin/conf/
#指定flume代码的名称
--name telenetAgentName
#指定本次运行的配置文件为准
--conf-file /opt/module/flume-1.8.0-bin/job/telnet.conf
-Dflume.root.logger==INFO,console

完整命令：(命令太长使用 \ 进行拼接 换行)

/opt/module/flume-1.8.0-bin/bin/flume-ng agent \
--conf /opt/module/flume-1.8.0-bin/conf/ \
--name telenetAgentName \
--conf-file /opt/module/flume-1.8.0-bin/job/telnet.conf \
-Dflume.root.logger==INFO,console

开启Telnet 数据消息 此处flume 就可以监控到 来自Telnet的数据

telnet localhost 44444