MapReduce 编程模型

MapReduce 简介

MapReduce 本身是一种支持并行运算的编程模型(思想),这个编程模型分为两个阶段:Map 阶段和 Reduce 阶段。

Hadoop 的 MapReduce 框架

image-20211130163135115

Hadoop 的 MapReduce 是实现 MapReduce 编程模型的一个分布式计算框架,这个框架的名字也叫做 MapReduce。

Hadoop 的 MapReduce 框架也分为两个阶段:

  • Map 阶段:负责数据的拆分(具体的数据拆分逻辑由开发人员根据业务需求负责编写)
  • Reduce 阶段:负责数据的聚合(具体的数据聚合逻辑由开发人员根据业务需求负责编写)

Hadoop 的 MapReduce 框架负责创建 MapTask 任务和 ReduceTask 任务调用和执行 Map 阶段和 Reduce 阶段由开发人员编写的逻辑代码。

posted @ 2021-12-02 20:11  追こするれい的人  阅读(99)  评论(0编辑  收藏  举报