会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
狂飙的蜗牛
博客园
首页
新随笔
联系
订阅
管理
2021年10月15日
hive中的数据倾斜优化
摘要: # hive的倾斜种类比较多,下面主要分析join 时,key倾斜的情况,其他案例后续再补充 1. 大表mapjoin 小表时key值中出现null,空字符特别多,其他普通key特别少时,就会出现单个reduce的运行缓慢,远远超出其他reduce 的运行时间,例如 select a.id,b.id
阅读全文
posted @ 2021-10-15 11:00 .狂飙的蜗牛
阅读(121)
评论(0)
推荐(0)
编辑
公告