flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
摘要:
在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: 这里配置的是60秒,文件滚动一次,也就每隔60秒,会新产生一个文件【前提,flume的source端有数据来】 但是当我启动flume的时候,运行十几秒,不断写入数据,发现hdfs端频繁的产生文件,每隔几秒就有新文件 阅读全文
posted @ 2019-01-30 14:52 夕橘子 阅读(432) 评论(0) 推荐(0) 编辑