MapReduce

MapReduce是 一种 用于数据处理的 编程模型。该模型 非常简单。

同一个程序Hadoop 可以 运行  用各种语言 编写的MapRedue 程序。 在本章中，我们将看到 用 Java , Ruby ， Python 和  C++ 这些不同语言 编写的  不同版本。

最重要的是， MapReduce 程序 本质上  是并行的， 因此可以 将大规模的数据分析 交给  任何 一个 拥有 足够多机器的运行商。

MapReduce  的 优势 在于 处理大型数据集，所以  下面首先来看一个例子。

---

使用 Hadoop 进行 数据分析

为了更好地发挥 Hadoop 提供的 并行 处理机制 的  优势， 我们 必须 把查询 标识成  Map Reduce 作业。

经过 一些 本地的 小规模测试，我们能够 在机器 集群上 运行它。

---

map 和 reduce

MapReduce 的  工作过程分为两个阶段： map 阶段 和 reduce 阶段。

每个阶段 都有 键/值 作为输入和输出，并且 它们的类型可由程序员  选择。程序员 还具体 定义了 两个 函数： map 函数 和 reduce 函数。

 

我们在   map 阶段 输入的 是 原始的 NCDC数据。 我们选择的是一种 文本 输入格式， 以便 数据集的每一行 都会是一个 文本值。

键是 在 文件 开头部分文本行  起始 处的 偏移量， 但我们没有这 方面的需求， 所以 将其 忽略。

 

map 函数很简单。 我们 使用 map  函数 来找出 年份 和 气温，  因为我们只对 它们有兴趣。 在本例中， map 函数 只是 一个  数据准备 阶段， 

通过这种方式 来建立数据，  使得 reduce 函数 能在此 基础上进行  工作： 找出 每年的最高气温。

map 函数 也是 很适合  去除 已损 记录的 地方： 在这里， 我们 将 筛选 掉 缺失的、不可靠的或 错误的气温数据。

---

 

为了 全面 了解 map 的  工作方式， 我们思考下面几行 示例 的 输入 数据（）

这些 行  以 键/值 对的方式 来表示  map 函数：

 键 是 文件中的 行 偏移量， 而这往往是我们在 map 函数 中 所忽视的。

map 函数的功能 仅仅 提取 年份 和 气温（以粗体 显示），并将其 作为 输出被 发送。（气温值 已被 解释为整数）

map 函数的输出 先由 MapReduce 框架处理， 然后 再被 发送到 reduce 函数。

这一处理过程 根据 键/值对  进行排序 和 分组。 因此，继续我的示例，reduce  函数 会到 如下输入：

每年的年份后 都有一系列  气温 读数。所有 reduce 函数 现在必须重复 这个列表 并从中找出最大的读数：

这是最后的输出： 全球 气温纪录中每年的最高气温。

 

整个数据流如图 2-1 所示。  在图的底部是 Unix 的 管道， 模拟整个 MapReduce的 流程， 其中的内容 我们将在以后 讨论 Hadoop 数据流时 再次提到。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　MapReduce 的逻辑数据流