2020年1月23日
flume修改源码实现source文件名前后缀的更改
摘要： 业务场景：需求：通过flume进行数据采集，将本地(windows服务器)不断产生的csv文件采集到hdfs上。问题：本地文件在生成的过程中，会出现文件名重复的现象。也就是说，在前一秒生成文件名为aaa.csv,该文件经过flume进行处理之后会进行文件名的更改，默认情况下文件名会更改为aaa.csv.COMPLATED,但是在第二秒的时候，接着又生成了aaa.csv文件，此时flume将该文件处... 阅读全文
posted @ 2020-01-23 00:25 郭小白 阅读(1044) 评论(0) 推荐(0) 编辑