摘要: 原文链接概要Spark 1.1中对spark core的一个重大改进就是引入了sort-based shuffle处理机制,本文就该处理机制的实现进行初步的分析。Sort-based Shuffle之初体验通过一个小的实验来直观的感受一下sort-based shuffle算法会产生哪些中间文件,具... 阅读全文
posted @ 2015-07-21 18:01 masic 阅读(450) 评论(0) 推荐(0) 编辑
摘要: 作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/随着Spark的逐渐成熟完善,越来越多的可配置参数被添加到Spark中来,在Spark的官方文档http://spark.apache.... 阅读全文
posted @ 2015-07-21 17:34 masic 阅读(693) 评论(0) 推荐(0) 编辑