命运给予的,无论多少,皆需认真对待。----------------------------------朗如日月,清如水镜

2019年1月30日

flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?

摘要: 在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: 这里配置的是60秒,文件滚动一次,也就每隔60秒,会新产生一个文件【前提,flume的source端有数据来】 但是当我启动flume的时候,运行十几秒,不断写入数据,发现hdfs端频繁的产生文件,每隔几秒就有新文件 阅读全文

posted @ 2019-01-30 14:52 夕橘子 阅读(431) 评论(0) 推荐(0) 编辑

导航