随笔分类 -  Flume

摘要:常用:去官网一顿撸,有很多哦 最右侧有目录导航哟 >>>>>>>> 一、Source: avro 多用于复制(a1.sources.r1.selector.type = replicating)、多路复用(a1.sources.r1.selector.type = multiplexing)、负载均 阅读全文
posted @ 2020-10-09 16:49 Mrzxs 阅读(2220) 评论(0) 推荐(0) 编辑
摘要:# Name the components on this agenta1.sources = r1a1.channels = c1 c2a1.sinks = k1 k2 #将数据流复制给所有channel#下边这句是默认的,不配置也可以#a1.sources.r1.selector.type = 阅读全文
posted @ 2020-07-18 16:53 Mrzxs 阅读(747) 评论(0) 推荐(0) 编辑
摘要:在进行flume监控文件时,产生的taildir_position.json文件错误 猜测原因: 之前启动时,发生了错误。这时候已经生成了taildir_position.json文件,这时候在修改好一切配置文件再启动时,它会读取该文件,用来找到,之前操作的位置,但里边啥也没有?就发生了错误 解决方 阅读全文
posted @ 2020-07-18 16:29 Mrzxs 阅读(4329) 评论(0) 推荐(0) 编辑
摘要:在进行实时监控Hive日志,并上传到HDFS中上时,出现下面的错误 解决方法: 删除flume中的对应的低版本guava-11.0.2.jar(或者将flume中的对应的低版本guava-11.0.2.jar删除后再hadoop3.1.3中对应的高版本拷贝到flume中) 阅读全文
posted @ 2020-07-17 13:37 Mrzxs 阅读(1976) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up dark_mode palette
选择主题