2015年9月17日
sort-based shuffle的核心：org.apache.spark.util.collection.ExternalSorter
摘要： 依据Spark 1.4版在哪里会用到它ExternalSorter是Spark的sort形式的shuffle实现的关键。SortShuffleWriter使用它，把RDD分区中的数据写入文件。 override def write(records: Iterator[Product2[K, V]]... 阅读全文
posted @ 2015-09-17 16:06 devos 阅读(2443) 评论(0) 推荐(0) 编辑