2019年12月16日
Spark Shuffle 机制
摘要： 1、spark shuffle：spark 的 shuffle 主要发生在 DAG 视图中的 stage 和 stage 之间，也就是RDD之间是宽依赖的时候，会发生 shuffle。 补充：spark shuffle在很多地方也会参照mapreduce一样，将它分成两个阶段map阶段、reduce 阅读全文
posted @ 2019-12-16 15:50 guoyu1 阅读(891) 评论(0) 推荐(0) 编辑