flume入门案例

1. flume运用之一监控端口数据:


# 配置flume的代理类的名称为:telenetAgentName

# 配置flume的数据来源名称为:telenetSource
telenetAgentName.sources = telenetSource

#配置flume的数据输出的目的地的名称为:telenetSinks
telenetAgentName.sinks = telenetSinks

#配置flume的数据传输管道名称为:telenetChannel
telenetAgentName.channels = telenetChannel

 


# 配置flume的数据来源的类型为:netcat 端口类型
telenetAgentName.sources.telenetSource.type = netcat

#配置flume的数据来源主机地址
telenetAgentName.sources.telenetSource.bind = localhost

#配置flume的数据来源主机的端口号
telenetAgentName.sources.telenetSource.port = 44444

 

# 数据输出目的地的类型是控制台日志类型
telenetAgentName.sinks.telenetSinks.type = logger

 

# 配置数据传输管道使用类型是 内存
telenetAgentName.channels.telenetChannel.type = memory

#数据传输管道的总容量是1000个event(事件)
telenetAgentName.channels.telenetChannel.capacity = 1000

#每次收集到100个事件在进行提交事务
telenetAgentName.channels.telenetChannel.transactionCapacity = 100

# 指定数据传输管道使用那个管道
telenetAgentName.sources.telenetSource.channels = telenetChannel
#指定数据传输目的地使用那个管道
telenetAgentName.sinks.telenetSinks.channel = telenetChannel


启动flume并且指定配置文件:
/opt/module/flume-1.8.0-bin/bin/flume-ng agent
#指定配置文件的路径
--conf /opt/module/flume-1.8.0-bin/conf/
#指定flume代码的名称
--name telenetAgentName
#指定本次运行的配置文件为准
--conf-file /opt/module/flume-1.8.0-bin/job/telnet.conf
-Dflume.root.logger==INFO,console

完整命令:(命令太长使用 \ 进行拼接 换行)

/opt/module/flume-1.8.0-bin/bin/flume-ng agent \
--conf /opt/module/flume-1.8.0-bin/conf/ \
--name telenetAgentName \
--conf-file /opt/module/flume-1.8.0-bin/job/telnet.conf \
-Dflume.root.logger==INFO,console

开启Telnet 数据消息 此处flume 就可以监控到 来自Telnet的数据

telnet localhost 44444

posted @ 2019-06-15 22:35  马鞍山  阅读(180)  评论(0编辑  收藏  举报