2016年1月10日
Spark Shuffle之Hash Shuffle
摘要： 正如你所知，spark实现了多种shuffle方法，通过 spark.shuffle.manager来确定。暂时总共有三种：hash shuffle、sort shuffle和tungsten-sort shuffle，从1.2.0开始默认为sort shuffle。本节主要介绍hash shuffle。 阅读全文
posted @ 2016-01-10 18:45 TheBug 阅读(1060) 评论(0) 推荐(1) 编辑