随笔分类 - flume
摘要:)当 sink 到 hdfs 时: ) 需修改 flume-env.sh 配置,增添 hdfs 依赖库: FLUME_CLASSPATH="/root/TDH-Client/hadoop/hadoop/*:/root/TDHClient/hadoop/hadoop-hdfs/*:/root/TDH-
阅读全文
摘要:根据flume官网:当kafka涉及kerberos认证: 涉及两点配置,如下: 配置一:见下实例中红色部分 配置conf实例: [root@gz237-107 conf]# cat flume_slipstream.conf a1.sources =r1 a1.sinks = k1 a1.chan
阅读全文
摘要:flume伪分布式安装: 1、导包:apache-flume-1.7.0-bin.tar.gz 2、配置环境变量:/etc/profile export FLUME_HOME=/yang/apache-flume-1.7.0-bin export PATH=$PATH:$FLUME_HOME/bin
阅读全文
摘要:一、flume集成hdfs,将数据写入到hdfs a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type =avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=8888 #存
阅读全文
摘要:1、flume是分布式的日志收集系统,把手机来的数据传送到目的地去 2、flume传输的数据的基本单位是 event,如果是文本文件,通常是一行记录。 event代表着一个数据流的最小完整单元,由零个或多个header和正文组成,header类似于http头,包含时间的时间戳或者来源服务器主机名等。
阅读全文