2018年7月21日
Hive 数据倾斜原因及解决方法（转）
摘要： 在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的 阅读全文
posted @ 2018-07-21 17:21 静悟生慧 阅读(1566) 评论(0) 推荐(0) 编辑