随笔分类 -  flume

摘要:)当 sink 到 hdfs 时: ) 需修改 flume-env.sh 配置,增添 hdfs 依赖库: FLUME_CLASSPATH="/root/TDH-Client/hadoop/hadoop/*:/root/TDHClient/hadoop/hadoop-hdfs/*:/root/TDH- 阅读全文
posted @ 2019-02-21 17:18 xiaolaotou 阅读(1388) 评论(0) 推荐(0) 编辑
摘要:根据flume官网:当kafka涉及kerberos认证: 涉及两点配置,如下: 配置一:见下实例中红色部分 配置conf实例: [root@gz237-107 conf]# cat flume_slipstream.conf a1.sources =r1 a1.sinks = k1 a1.chan 阅读全文
posted @ 2019-02-21 14:21 xiaolaotou 阅读(3025) 评论(0) 推荐(0) 编辑
摘要:flume伪分布式安装: 1、导包:apache-flume-1.7.0-bin.tar.gz 2、配置环境变量:/etc/profile export FLUME_HOME=/yang/apache-flume-1.7.0-bin export PATH=$PATH:$FLUME_HOME/bin 阅读全文
posted @ 2019-02-21 11:39 xiaolaotou 阅读(389) 评论(0) 推荐(0) 编辑
摘要:一、flume集成hdfs,将数据写入到hdfs a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type =avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=8888 #存 阅读全文
posted @ 2019-02-21 11:31 xiaolaotou 阅读(391) 评论(0) 推荐(0) 编辑
摘要:1、flume是分布式的日志收集系统,把手机来的数据传送到目的地去 2、flume传输的数据的基本单位是 event,如果是文本文件,通常是一行记录。 event代表着一个数据流的最小完整单元,由零个或多个header和正文组成,header类似于http头,包含时间的时间戳或者来源服务器主机名等。 阅读全文
posted @ 2019-02-21 11:24 xiaolaotou 阅读(1289) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示