会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
滴水穿石不是靠力,而是因为不舍昼夜。
博客园
首页
新随笔
联系
订阅
管理
2023年2月20日
hive数据倾斜优化
摘要: 1、什么是数据倾斜? 由于数据分布不均匀,造成数据大量的集中到一点,造成数据热点 2、主要表现:任务进度长时间维持在 99%或者 100%的附近,查看任务监控页面,发现只有少量 reduce子任务未完成,因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数
阅读全文
posted @ 2023-02-20 05:13 晓枫的春天
阅读(406)
评论(0)
推荐(0)
编辑
公告