什么是MapReduce？
你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查而且数出有多少张是黑桃。
MapReduce方法则是：
1. 给在座的全部玩家中分配这摞牌。
2. 让每一个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你。
3. 你把全部玩家告诉你的数字加起来，得到最后的结论。
MapReduce概述
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。
它的核心设计理念是移动计算。而不是移动数据。
MapReduce合并了两种经典函数：
映射（ Mapping）对集合里的每一个目标应用同一个操作。即。假设你想把表单里每一个单元格乘以二，那么把这个函数单独地应用在每一个单元格上的操作就属于mapping。
化简（ Reducing ）遍历集合中的元素来返回一个综合的结果。
即。输出表单里一列数字的和这个任务属于reducing。
MapReduce由两个阶段组成： Map和Reduce，用户仅仅须要实现map()和reduce()两个函数。就可以实现分布式计算。很easy。
这两个函数的形參是key、 value对，表示函数的输入信息。
MapReduce在多于10PB数据时趋向于变慢。
Mapreduce原理
运行步骤：
1. map任务处理
1.1 读取输入文件内容，解析成key、 value对。 对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。
1.2 写自己的逻辑，对输入的key、 value进行处理，转换成新的key、 value输出。
1.3 对输出的key、 value进行分区。
1.4 对不同分区的数据，依照key**进行排序、分组**。
同样key的value放到一个集合中。
1.5 (可选)分组后的数据进行归约。
2.reduce任务处理
2.1 对多个map任务的输出，依照不同的分区，通过网络copy到不同的reduce节点。
2.2 对多个map任务的输出进行合并、排序。 写reduce函数自己的逻辑。对输入的key、 values处理，转换成新的key、 value输出。
2.3 把reduce的输出保存到文件里。
MR工作流程
1）作业配置
1、编写Map和Reduce处理函数
2、配置输入输出路径
3、其它配置，如输出压缩等
2）提交作业
1、向JobTracker请求。getNewJobId()
2、检查job的相关愉出路径，提交job以及相关的jar到JobTracker，
相关的libjars是通过distributedCache方式传递到JobTracker。
3、JobClient计算输入分片。把splitMetainInfo写入JobSplit。
4、把job.xml配置文件发送到JobTracker。
5、调用JobSubmissionProtocol的submitjob方法真正去提交作业。
3）作业初始化
1、JobTracker接收到Client的submitJob(）方法调用后，会把调用放到内部队列中，交由TaskScheduler调度。
2、创建一个代表正在运行作业的对象JoblnProgress。
3、JoblnProgress的initTasks(）方法的初始化工作：
A.读取作业的分片信息
B.创建Map任务与Reduce任务，为每一个Map Task和Reduce Task生成TasklnProgress对象。
C.reduce的数最由mapred.reduce.tasks属性决定。而map的数量是由输入分片的个数决定的。
4、任务分配
1、JobTracker与TaskTracker之间的通信与任务分配是通过心跳机制完毕的。
2、TaskTracker会主动向JobTracker询问是否有作业。假设自己有空暇的slot，就能够在心跳阶段得到JobTracker发送过来的Map任务或Reduce任务。
3、TaskTracker->transmitHeatBeat。
4、拷贝全部信息到本地（代码。配置信息。数据分片）。
5、任务运行
申请到任务后，TaskTracker须要做例如以下事情：
1、拷贝代码到本地。
2）拷贝任务信息到本地。
3）启动JVM运行任务。
A.代码能够查看 TaskTracker->startNewTask->localizeJob。然后调用launchTaskForJob启动taskrunner去运行task。
B.TaskRunner分为MapTaskRunner和ReduceTaskRunner。
6、进度和状态更新
1、Task在运行过程中．把自己的状态发送给TaskTracker。由TaskTracker再汇报给JobTracker。
2、任务进度是通过计数器实现的。
7、作业完毕
1、JobTracker在接收到最后一个任务完毕后，才会将任务标志成成功状态。
2、同一时候会运行把中间结果后删除等操作。
Hadoop2.6.0源代码作业提交流程
MapReduce新旧API对照
1、新的API倾向于使用抽象类，而不是接口。由于这更easy扩展，能够加入一个方法（用默认的实现）到一个抽象类，而不需改动类之前的实现方法。在新的API中，Mapper和Reducer都是抽象类。
2、新的API是在org.apache.hadoop.mapreduce包（和子包）中的。之前版本号的API则是放在org.apache.hadcop.mapred中的。
3、新的API广泛使用context.object（上下文对象），并同意用户代码与MapReduce系统进行通信。比如，MapContext基本上充当着JobConf的OutputCollector和Reporter的角色。
4、新的API统一了配置。
旧的API有一个特殊的JobConf对象用于作业配置，这是一个对于Hadoop通常的Configuration对象的扩展。在新的API中，这样的差别没有了。全部作业配置通过Configuration来完毕。作业控制的运行由Job类来负责。而不是JobClient。它在新的API中已经荡然无存。
