打赏
2022年2月9日
MapReduce工作流程
摘要： 上面的流程是整个MapReduce最全工作流程，但是Shuffle过程只是从第7步开始到第16步结束，具体Shuffle过程详解，如下： （1）MapTask收集map()方法输出的kv对，放到内存缓冲区中 （2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件 （3）多个溢出文件会被合并成大的 阅读全文
posted @ 2022-02-09 21:14 不像话 阅读(465) 评论(0) 推荐(0) 编辑