MapReduce 编程模型
MapReduce 简介
MapReduce 本身是一种支持并行运算的编程模型(思想),这个编程模型分为两个阶段:Map 阶段和 Reduce 阶段。
Hadoop 的 MapReduce 框架
Hadoop 的 MapReduce 是实现 MapReduce 编程模型的一个分布式计算框架,这个框架的名字也叫做 MapReduce。
Hadoop 的 MapReduce 框架也分为两个阶段:
- Map 阶段:负责数据的拆分(具体的数据拆分逻辑由开发人员根据业务需求负责编写)
- Reduce 阶段:负责数据的聚合(具体的数据聚合逻辑由开发人员根据业务需求负责编写)
Hadoop 的 MapReduce 框架负责创建 MapTask 任务和 ReduceTask 任务调用和执行 Map 阶段和 Reduce 阶段由开发人员编写的逻辑代码。