【Hadoop】：MapReduce核心思想

一.MapReduce流程介绍

假设我们有一个任务：用于统计一个文件当中一个单词出现的总次数,查询结果保存到两个文件里，一个装载a-p单词出现的次数，一个文件装载q-z单词出现的个数。下面是这个任务使用mapreduce实现的具体流程：

 

 

 MapReduce当中需要注意的是：

1.一个MapReduce程序运行之后，Map和Reduce阶段都可以并行执行，但是每次一个MapReduce程序只能处理一个任务，不能够多个任务并行执行。一个任务当中的每一步可以并行执行。

2.MapReduce如果想要处理多个任务，只能进行串行执行

二.MapReduce中的进程

在进行分布式运行的时候，一共MapReduce任务仅有三个进程，如下所示：

三.MapReduce编程规范

1.Mapper阶段

 

 2.Reducer阶段和Driver阶段

在Mapper阶段执行完毕之后，开始Reducer阶段的执行，如下图所示：

 

 完毕！！！