2022年2月18日
hadopp的shuffle阶段简述(自己理解)
摘要： hadoop的shuffle分为两个阶段map端的shuffle：Sort、Spill、Merge1、来一个输入分片，分配一个map任务来处理，默认以一个HDFS块的大小(64M)为一个分片，把数据首先放到内存中的一个缓冲区，做一些预排序，提升效率；2、每个map任务都有一个内存缓冲区(默认100M 阅读全文
posted @ 2022-02-18 09:36 RunningNeverStop 阅读(95) 评论(0) 推荐(0) 编辑