笔记:深入解析MapReduce架构设计与实现原理 第2章 MapReduce设计理念和基本架构

一、MapReduce 架构

HDFS 的基本单位:block,默认64M。

TaskTracker 上的计算资源单位:slot  (CPU、内存等)

MapReduce 的处理单位:split (每个split交给1个Map Task,split 包含了数据起始位置、数据长度、数据所在点等元数据信息)


二、Mapreduce Job的作业周期

(1)、Job 提交与初始化

(2)、Task 调度与监控

(3)、Task 运行环境准备(JVM 启动和资源隔离)

(4)、Task 执

 

posted @ 2015-01-20 21:46  lihui1625  阅读(115)  评论(0编辑  收藏  举报