关于从kafka采集数据到flume,然后落盘到hdfs上生成的一堆小文件的总结
摘要:
采集数据到kafka,然后再通过flume将数据保存到hdfs上面。在这个过程当中出现了一堆的问题。 (1)一直是提醒说必须指定topic,然后发现我kafka用的是0.9.0.1,然而我的flume用的是1.6.然后将flume的版本调为1.7之后问题解决了。 (2)flume能够正常启动。然而这 阅读全文
posted @ 2017-11-15 20:53 gxg123 阅读(5180) 评论(3) 推荐(0) 编辑