MapReduce 编程模型

MapReduce 简介

MapReduce 本身是一种支持并行运算的编程模型(思想),这个编程模型分为两个阶段:Map 阶段和 Reduce 阶段。

Hadoop 的 MapReduce 框架

image-20211130163135115

Hadoop 的 MapReduce 是实现 MapReduce 编程模型的一个分布式计算框架,这个框架的名字也叫做 MapReduce。

Hadoop 的 MapReduce 框架也分为两个阶段:

  • Map 阶段:负责数据的拆分(具体的数据拆分逻辑由开发人员根据业务需求负责编写)
  • Reduce 阶段:负责数据的聚合(具体的数据聚合逻辑由开发人员根据业务需求负责编写)

Hadoop 的 MapReduce 框架负责创建 MapTask 任务和 ReduceTask 任务调用和执行 Map 阶段和 Reduce 阶段由开发人员编写的逻辑代码。

posted @   追こするれい的人  阅读(154)  评论(0编辑  收藏  举报
编辑推荐:
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示