DFS & MapReduce

Google Example

• 200亿+网页 * 20kb = 400+ TB
• 1台计算机硬盘读取速度为30 ～ 35 mb/s
• 要读取4个月

截止至2006年8月，谷歌已经有450000台机器了。

 

Challenges for Large-scale Computing

• 怎么分配计算？
• 如何设计简易的分布式编程模型？
• 如何机器故障处理？

 

Idea and Solution

　　Idea：

　　　　接近数据的计算

　　　　对数据进行多个备份

　　MapReduce被用来解决这些问题

 

Storage Infrastructure

　　Problem：

　　　　如果节点宕机，如何保持存储数据

　　Answer：

　　　　分布式文件系统：GFS（Google File System）、HDFS（Hadoop Distributed File System）

　　Typical usage pattern：

　　　　巨大的文件（几百GB到TB）

　　　　数据很少更新，或者说只是单纯将新数据追加到尾部

　　　　常用于读取和附加的数据

 

Distributed File System

• 块状服务群：

　　　　文件备份成连续的块

　　　　一般每块16 ~ 64 mb

　　　　每块进行复制（2、3次）

　　　　保持在不同机架上存在副本

• 主节点（Master Node）
• 服务器端的文件访问接口：

　　　　向主节点请求查看服务块

　　　　与服务块直接连接来访问数据

• 可靠的分布式系统：

　　　　数据以“块”分布在机器中

 

Programming Model： MapReduce

顺序读取大量的数据。

　　Map：

　　　　提取你敢兴趣的数据（Group by key, Sort an Shuffle）

　　Reduce：

　　　　总结、归纳、过滤或转换

 

The Map Step

Map任务将输入变成“键—值”对应的序列。 

 

The Reduce Step

Reduce将“键—值”进行合并优化。