2021年10月19日

MapReduce中的shuffle过程

摘要: 1.Map task输出k-v对 2.环形缓冲区 map阶段在最后会通过MapOutputBuffer来将数据暂时存储到一个环形缓冲区,在缓冲区写入的数据达到阈值(80%)后,才会开始从这里再写出到磁盘(落盘)。由此可见:环形缓冲区的设计直接影响Map Task的输出效率。 上面大致的流程中,我们不 阅读全文

posted @ 2021-10-19 23:02 理想三旬_z 阅读(328) 评论(0) 推荐(0) 编辑

导航