数据倾斜(记录)
摘要:
一、数据倾斜介绍与定位 二、解决方法一:聚合数据源 三、解决方法二:提高shuffle操作reduce并行度 四、解决方法之三:随机key实现双重聚合 五、解决方法之四:将reduce join 转换为map join 六、解决方法之五:sample采样倾斜key进行两次join 七、解决方法之六: 阅读全文
posted @ 2019-08-05 17:13 农夫三拳有點疼 阅读(375) 评论(0) 推荐(0) 编辑