随笔 - 835  文章 - 1 评论 - 40 阅读 - 102万
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

随笔分类 -  flume

apache flume
flume taildirSource重复获取数据和不释放资源解决办法(转)
摘要:问题:目前2.0 还未解决该问题 (1)log4j的日志文件肯定是会根据规则进行滚动的:当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件,又重新读取一遍,导致重复。 (2)当flume监控的日志文件被移走或删除,f 阅读全文
posted @ 2022-06-21 18:37 lshan 阅读(255) 评论(0) 推荐(0) 编辑
Flume与kafka集成
摘要:tailDir 启动: bin/flume-ng agent --conf conf --conf-file job/taildirSource-kafka.conf --name a1 -Dflume.root.logger=INFO,console flume# taildirSource-ka 阅读全文
posted @ 2019-12-20 15:32 lshan 阅读(987) 评论(0) 推荐(0) 编辑
flume 基本知识
摘要:官网指导文档: http://flume.apache.org/releases/content/1.7.0/FlumeDeveloperGuide.html http://flume.apache.org/releases/content/1.9.0/FlumeDeveloperGuide.htm 阅读全文
posted @ 2019-09-03 11:06 lshan 阅读(281) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示