摘要:
Shuffle阶段划分: shuffle write:mapper阶段,上一个stage得到最后的结果写出 shuffle read :reduce阶段,下一个stage拉取上一个stage进行合并 1)未经优化的hashShuffleManager: HashShuffle是根据task的计算结果 阅读全文
摘要:
Shuffle阶段划分: shuffle write:mapper阶段,上一个stage得到最后的结果写出 shuffle read :reduce阶段,下一个stage拉取上一个stage进行合并 1)未经优化的hashShuffleManager: HashShuffle是根据task的计算结果 阅读全文
|