Flume会不会出现数据 重复 采集?
断点续传
实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;
对收集过的历史文件进行备份处理;
实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;
对收集过的历史文件进行备份处理;
消费组ID完全一样的,这样采集到的数据才不会重复的
断点续传
实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;
对收集过的历史文件进行备份处理;
实现flume采集的断点续传,接着崩溃的最后采集索引继续采集;
对收集过的历史文件进行备份处理;
消费组ID完全一样的,这样采集到的数据才不会重复的