Flume - 随笔分类 - 吹静静

报错: Flume 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty

摘要：报错背景 Flume配置抽取任务时日志打印报错信息。报错现象错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty 报错原因原因不明猜测：可能是和hbase的jar包或者环境变量发生了冲突。报错解决修改flume-ng文件110行，添加阅读全文

posted @ 2022-02-24 10:48 吹静静阅读(826) 评论(0) 推荐(0) 编辑

Flume 源码编译

摘要：1.修改pom文件 <repositories> <repository> <id>nexus.axiomalaska.com</id> <url>http://nexus.axiomalaska.com/nexus/content/repositories/public/</url> </repo 阅读全文

posted @ 2021-06-04 10:39 吹静静阅读(421) 评论(0) 推荐(0) 编辑

报错:（未解决）Opening socket connection to server master/192.168.52.26:2181. Will not attempt to authenticate using SASL (unknown error)

摘要：报错背景： CDH集群中，将kafka和Flume整合，将kafka的数据发送给Flume消费。启动kafka的时候正常，但是启动Flume的时候出现了报错现象。报错现象：报错原因：这个报错并不是Flume的原因，而是kafka的锅。kafka由于某些原因报错，导致Flume连接kafka的阅读全文

posted @ 2019-05-21 14:50 吹静静阅读(4207) 评论(0) 推荐(0) 编辑

报错：HDFS IO error org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/yk/dl/alarm_his":hdfs:supergroup:drwxr-xr-x

摘要：报错背景： CDH集成了Flume服务，准备通过Flume将kafka中的数据放到HDFS中，启动Flume的时候报错。报错现象：报错原因：根据日志信息可以解读出，root用户想要在文件系统里面创建一个目录，失败。原因是，root用户无法操作hdfs 报错解决：重启HDFS即可阅读全文

posted @ 2019-05-08 10:40 吹静静阅读(867) 评论(0) 推荐(0) 编辑

报错：Error starting Jetty. JSON Metrics may not be available.java.net.BindException:地址已在使用

摘要：报错背景：刚在CDH中集成Flume插件，启动报错报错现象：报错原因：我也没看懂具体原因，但是在解决的时候稀里糊涂就把报错解决了。报错解决：进入flume的配置目录：/etc/flume-ng/conf/ 编辑文件：flume.conf 按照自己的需求填写相关语句完成之后报错消失（CD 阅读全文

posted @ 2019-05-07 15:51 吹静静阅读(854) 评论(0) 推荐(0) 编辑

报错：Failed on local exception: Host Details : local host is: "master/192.168.52.26"; dest

摘要：报错现象 Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host D 阅读全文

posted @ 2019-04-10 16:22 吹静静阅读(3569) 评论(0) 推荐(0) 编辑

kafka产生的数据通过Flume存到HDFS中

摘要：试验目标：把kafka的生产者发出的数据流经由Flume放到HDFS来存储。试验环境： java:1.8 kafka:2.11 flume:1.6 hadoop:2.8.5 试验流程： 1.进入zookeeper的bin目录，启动zookeeper $ zkServer.sh start 2.配阅读全文

posted @ 2019-02-28 11:55 吹静静阅读(4405) 评论(0) 推荐(0) 编辑

Flume的Channel

摘要：一、Memory Channel 事件将被存储在内存中（指定大小的队列里）非常适合那些需要高吞吐量且允许数据丢失的场景下属性说明：二、JDBC Channel 事件会被持久化（存储）到可靠的数据库里，目前支持嵌入式Derby数据库。即source=》channel=》sink。在传输的过程中，阅读全文

posted @ 2018-12-20 15:40 吹静静阅读(1192) 评论(0) 推荐(1) 编辑

Flume的Sink

摘要：一、Logger Sink 记录指定级别（比如INFO，DEBUG，ERROR等）的日志，通常用于调试要求，在 --conf（-c )参数指定的目录下有log4j的配置文件根据设计，logger sink将体内容限制为16字节，从而避免屏幕充斥着过多的内容。如果想要查看调试的完整内容，那么你应该阅读全文

posted @ 2018-12-20 14:59 吹静静阅读(3880) 评论(0) 推荐(0) 编辑

Flume的Source

摘要：source学习网址： http://flume.apache.org/FlumeUserGuide.html 一、Avro 类型的Source 监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继阅读全文

posted @ 2018-12-20 14:25 吹静静阅读(866) 评论(0) 推荐(0) 编辑

Flume 安装和配置

摘要：安装步骤 1.安装jdk，1.6版本以上 2.上传flume的安装包 3.解压安装 4.在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定） 5.配置agent组件相关配置： 6.根据指定的配置文件，来启动flume 进入flume的bin目录阅读全文

posted @ 2018-12-20 10:03 吹静静阅读(1035) 评论(0) 推荐(0) 编辑

Flume的基本概念

摘要：Flume 概念 Flume 最早是Cludera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，Flume支持在日志系统中指定各类数据发送方，用于收集数据。 Flume 是一个高可用的，高可靠的，鲁棒性（robust健壮性），分布式的海量日志采集、聚合和传输的系统，Flu 阅读全文

posted @ 2018-12-20 09:55 吹静静阅读(2372) 评论(1) 推荐(0) 编辑

吹静静

欢迎QQ交流：592590682

随笔分类 - Flume