2017年4月14日
MapReduce过程(包括Shuffle)详解
摘要： 首先，map的输入数据默认一个一个的键值对，键就是每一行首字母的偏移量，值就是每一行的值了。 然后每一个输入的键值对都会用我们定义的map函数去处理，这里用wordcount来举例的话就是，每一个键值对的值都按对应的分隔符分隔成每一个单词作为输出的键，值都为1。 接着，进入mapshuffle阶段， 阅读全文
posted @ 2017-04-14 10:58 Kyhoon 阅读(639) 评论(0) 推荐(0) 编辑