关于从kafka采集数据到flume，然后落盘到hdfs上生成的一堆小文件的总结
摘要：
采集数据到kafka，然后再通过flume将数据保存到hdfs上面。在这个过程当中出现了一堆的问题。 （1）一直是提醒说必须指定topic，然后发现我kafka用的是0.9.0.1，然而我的flume用的是1.6.然后将flume的版本调为1.7之后问题解决了。 （2）flume能够正常启动。然而这 阅读全文
posted @ 2017-11-15 20:53 gxg123 阅读(5180) 评论(3) 推荐(0) 编辑
