2020年9月14日
spark系列(二)----shuffle
摘要： 一.hashShuffle 在早期的spark中，其shuffle的机制是hashShuffle。在hashShuffle的过程中，每一个shuffleMapTask都会为每一个reduceTask创建一个bucket缓存，shuffleMapTask会对处理后的数据进行partitioner操作（ 阅读全文
posted @ 2020-09-14 21:57 喜欢it的小聪聪 阅读(352) 评论(0) 推荐(0) 编辑