2019年9月19日
MapReduce的Shuffle理解
摘要： 接下来了解了一下MapReduce中的shuffle，它就是map端产生输出到reduce端消化map端输出的全部过程。 ###map端 本地磁盘的文件如果有多份，会保存不同的block块到datanode，block块的个数决定了map任务数的个数，如图有3个block块，对应有3个map任务在执 阅读全文
posted @ 2019-09-19 21:11 斐波那切 阅读(485) 评论(0) 推荐(0) 编辑