RICH-ATONE

2021年6月17日 #

Flume引用第三方jar包，进行jar包隔离

摘要： 引用第三方jar包 不必放在flume的lib目录下，参考http://flume.apache.org/FlumeUserGuide.html#installing-third-party-plugins 在flume目录下新建plugins.d目录，此目录下每个插件单独一个目录，每个插件目录下可 阅读全文

posted @ 2021-06-17 17:35 RICH-ATONE 阅读(273) 评论(0) 推荐(0) 编辑

flume自定义拦截器解决数据漂移问题及切分日志日期

摘要： flume中的数据漂移问题解决： 在flume-kafka-flume中 flume1：taildir source -- kafka channel flume2：kafka source -- File channel -- HDFS sink 第二层flume的kafka source上挂上一 阅读全文

posted @ 2021-06-17 17:31 RICH-ATONE 阅读(478) 评论(0) 推荐(0) 编辑

导航