2017年9月17日
Spark Shuffle大揭秘
摘要： 什么是Shuffle： Shuffle中文翻译为“洗牌”，需要Shuffle的关键原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。 Shuffle面临的问题: 1. 数据量非常大； 2 数据如何分类，及如何Partition，Hash、Sort、钨丝计划 3. 负载均衡（数据倾斜） 阅读全文
posted @ 2017-09-17 14:35 cjt1991 阅读(263) 评论(0) 推荐(0) 编辑