flume入门案例
1. flume运用之一监控端口数据:
# 配置flume的代理类的名称为:telenetAgentName
# 配置flume的数据来源名称为:telenetSource
telenetAgentName.sources = telenetSource
#配置flume的数据输出的目的地的名称为:telenetSinks
telenetAgentName.sinks = telenetSinks
#配置flume的数据传输管道名称为:telenetChannel
telenetAgentName.channels = telenetChannel
# 配置flume的数据来源的类型为:netcat 端口类型
telenetAgentName.sources.telenetSource.type = netcat
#配置flume的数据来源主机地址
telenetAgentName.sources.telenetSource.bind = localhost
#配置flume的数据来源主机的端口号
telenetAgentName.sources.telenetSource.port = 44444
# 数据输出目的地的类型是控制台日志类型
telenetAgentName.sinks.telenetSinks.type = logger
# 配置数据传输管道使用类型是 内存
telenetAgentName.channels.telenetChannel.type = memory
#数据传输管道的总容量是1000个event(事件)
telenetAgentName.channels.telenetChannel.capacity = 1000
#每次收集到100个事件在进行提交事务
telenetAgentName.channels.telenetChannel.transactionCapacity = 100
# 指定数据传输管道使用那个管道
telenetAgentName.sources.telenetSource.channels = telenetChannel
#指定数据传输目的地使用那个管道
telenetAgentName.sinks.telenetSinks.channel = telenetChannel
启动flume并且指定配置文件:
/opt/module/flume-1.8.0-bin/bin/flume-ng agent
#指定配置文件的路径
--conf /opt/module/flume-1.8.0-bin/conf/
#指定flume代码的名称
--name telenetAgentName
#指定本次运行的配置文件为准
--conf-file /opt/module/flume-1.8.0-bin/job/telnet.conf
-Dflume.root.logger==INFO,console
完整命令:(命令太长使用 \ 进行拼接 换行)
/opt/module/flume-1.8.0-bin/bin/flume-ng agent \
--conf /opt/module/flume-1.8.0-bin/conf/ \
--name telenetAgentName \
--conf-file /opt/module/flume-1.8.0-bin/job/telnet.conf \
-Dflume.root.logger==INFO,console
开启Telnet 数据消息 此处flume 就可以监控到 来自Telnet的数据
telnet localhost 44444
作者:IT_BULL
出处:http://www.cnblogs.com/itBulls/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
博客园-博客园。