2020年11月12日
Spark Shuffle机制详细源码解析
摘要： Shuffle过程主要分为Shuffle write和Shuffle read两个阶段，2.0版本之后hash shuffle被删除，只保留sort shuffle，下面结合代码分析： 1.ShuffleManager Spark在初始化SparkEnv的时候，会在create()方法里面初始化Sh 阅读全文
posted @ 2020-11-12 23:28 马晟 阅读(659) 评论(0) 推荐(0) 编辑