2020年7月6日

班课5

摘要： 1. Spark Shuffle 回顾一下MapReduce的shuffle，即先按照key聚合，再对key进行排序 而spark中的shuffle不一定按key排序，shuffle前称为MapTask阶段，shuffle之后称为ReduceTask阶段 每一个分区分配一个MapTask shuff 阅读全文

posted @ 2020-07-06 20:22 Eleni 阅读(186) 评论(0) 推荐(0) 编辑

导航