2020年5月7日
mapReduce和spark的shuffle
摘要： MapReduce的shuffle 1.input map shuffle reduce output 2.shuffle的实现的功能：分区 分组 排序(key字典序) 3.map端的shuffle context.write() 写入到环形缓冲区（内存区域），假设缓冲区设置的是100M，当达到缓冲 阅读全文
posted @ 2020-05-07 16:58 无敌小阿没 阅读(197) 评论(0) 推荐(0) 编辑