博客园 首页 私信博主 显示目录 隐藏目录 管理 动画

Flume会不会出现数据 重复 采集?

断点续传


实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;
对收集过的历史文件进行备份处理;


实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;
对收集过的历史文件进行备份处理;

消费组ID完全一样的,这样采集到的数据才不会重复的

posted @ 2022-05-29 19:32  CHANG_09  阅读(146)  评论(0编辑  收藏  举报