报错: Flume 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty
摘要：报错背景 Flume配置抽取任务时日志打印报错信息。 报错现象 错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty 报错原因 原因不明 猜测：可能是和hbase的jar包或者环境变量发生了冲突。 报错解决 修改flume-ng文件110行，添加
阅读全文
posted @
2022-02-24 10:48
吹静静
阅读(828)
推荐(0) 编辑
Flume 源码编译
摘要：1.修改pom文件 <repositories> <repository> <id>nexus.axiomalaska.com</id> <url>http://nexus.axiomalaska.com/nexus/content/repositories/public/</url> </repo
阅读全文
posted @
2021-06-04 10:39
吹静静
阅读(421)
推荐(0) 编辑
报错:（未解决）Opening socket connection to server master/192.168.52.26:2181. Will not attempt to authenticate using SASL (unknown error)
摘要：报错背景： CDH集群中，将kafka和Flume整合，将kafka的数据发送给Flume消费。 启动kafka的时候正常，但是启动Flume的时候出现了报错现象。 报错现象： 报错原因： 这个报错并不是Flume的原因，而是kafka的锅。kafka由于某些原因报错，导致Flume连接kafka的
阅读全文
posted @
2019-05-21 14:50
吹静静
阅读(4209)
推荐(0) 编辑
报错：Error starting Jetty. JSON Metrics may not be available.java.net.BindException:地址已在使用
摘要：报错背景： 刚在CDH中集成Flume插件，启动报错 报错现象： 报错原因： 我也没看懂具体原因，但是在解决的时候稀里糊涂就把报错解决了。 报错解决： 进入flume的配置目录：/etc/flume-ng/conf/ 编辑文件：flume.conf 按照自己的需求填写相关语句 完成之后报错消失（CD
阅读全文
posted @
2019-05-07 15:51
吹静静
阅读(854)
推荐(0) 编辑
报错：Failed on local exception: Host Details : local host is: "master/192.168.52.26"; dest
摘要：报错现象 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host D
阅读全文
posted @
2019-04-10 16:22
吹静静
阅读(3569)
推荐(0) 编辑
kafka产生的数据通过Flume存到HDFS中
摘要：试验目标： 把kafka的生产者发出的数据流经由Flume放到HDFS来存储。 试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配
阅读全文
posted @
2019-02-28 11:55
吹静静
阅读(4406)
推荐(0) 编辑
Flume的Channel
摘要：一、Memory Channel 事件将被存储在内存中（指定大小的队列里） 非常适合那些需要高吞吐量且允许数据丢失的场景下 属性说明： 二、JDBC Channel 事件会被持久化（存储）到可靠的数据库里，目前支持嵌入式Derby数据库。即source=》channel=》sink。在传输的过程中，
阅读全文
posted @
2018-12-20 15:40
吹静静
阅读(1192)
推荐(1) 编辑
Flume的Sink
摘要：一、Logger Sink 记录指定级别（比如INFO，DEBUG，ERROR等）的日志，通常用于调试 要求，在 --conf（-c )参数指定的目录下有log4j的配置文件 根据设计，logger sink将体内容限制为16字节，从而避免屏幕充斥着过多的内容。如果想要查看调试的完整内容，那么你应该
阅读全文
posted @
2018-12-20 14:59
吹静静
阅读(3880)
推荐(0) 编辑
Flume的Source
摘要：source学习网址： http://flume.apache.org/FlumeUserGuide.html 一、Avro 类型的Source 监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继
阅读全文
posted @
2018-12-20 14:25
吹静静
阅读(867)
推荐(0) 编辑
Flume 安装和配置
摘要：安装步骤 1.安装jdk，1.6版本以上 2.上传flume的安装包 3.解压安装 4.在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定） 5.配置agent组件 相关配置： 6.根据指定的配置文件，来启动flume 进入flume的bin目录
阅读全文
posted @
2018-12-20 10:03
吹静静
阅读(1035)
推荐(0) 编辑
Flume的基本概念
摘要：Flume 概念 Flume 最早是Cludera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，Flume支持在日志系统中指定各类数据发送方，用于收集数据。 Flume 是一个高可用的，高可靠的，鲁棒性（robust健壮性），分布式的海量日志采集、聚合和传输的系统，Flu
阅读全文
posted @
2018-12-20 09:55
吹静静
阅读(2373)
推荐(0) 编辑
管理
