2019年7月24日
Spark的Shuffle机制解析
摘要： SparkShuffle概念 reduceByKey会将上一个RDD中的每一个key对应的所有value聚合成一个value，然后生成一个新的RDD，元素类型是<key,value>对的形式，这样每一个key对应一个聚合起来的value。 问题：聚合之前，每一个key对应的value不一定都是在一个 阅读全文
posted @ 2019-07-24 10:17 HandsomeEric 阅读(794) 评论(0) 推荐(0) 编辑