2018年10月17日
Hadoop MapReduce的Shuffle过程
摘要： 一、概述 理解Hadoop的Shuffle过程是一个大数据工程师必须的，笔者自己将学习笔记记录下来，以便以后方便复习查看。 二、 MapReduce确保每个reducer的输入都是按键排序的。系统执行排序、将map输出作为输入传给reducer的过程称为Shuffle。 2.1 map端 map函数 阅读全文
posted @ 2018-10-17 17:47 ChouYarn 阅读(1718) 评论(0) 推荐(0) 编辑