会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Time Is Song
博客园
首页
新随笔
联系
订阅
管理
2018年7月31日
Hive之小文件问题及其解决方案
摘要: 小文件如何产生 1.动态分区插入数据,产生大量小文件,导致map数剧增 2.Reduce数越多,小文件越多 3.数据直接导入小文件 小文件的影响 从hive的角度看,小文件会开很多map,一个map开一个jvm去执行,所以这些任务的初始化,启动,执行浪费大量资源,严重影响集群性能 在HDFS中,每个
阅读全文
posted @ 2018-07-31 19:25 王毅2016
阅读(1349)
评论(0)
推荐(0)
编辑
公告