2018年7月31日
Hive之小文件问题及其解决方案
摘要： 小文件如何产生 1.动态分区插入数据，产生大量小文件，导致map数剧增 2.Reduce数越多，小文件越多 3.数据直接导入小文件 小文件的影响 从hive的角度看，小文件会开很多map，一个map开一个jvm去执行，所以这些任务的初始化，启动，执行浪费大量资源，严重影响集群性能 在HDFS中，每个 阅读全文
posted @ 2018-07-31 19:25 王毅2016 阅读(1349) 评论(0) 推荐(0) 编辑