Hadoop入门

Hadoop组成

Hadoop1.x有

common（辅助工具）

HDFS（数据存储）

MapReduce（计算+资源调度）

Hadoop2.x

common（辅助工具）

HDFS（数据存储）

yarn（资源调度）

MapReduce（计算）

 

HDFS解决海量数据存储问题

namenode负责数据分配情况

datanode负责存储具体数据

 

 

 

 yarn的架构概述

yarn主要管理cpu和内存

1）resourcemanager整个集群资源的老大（内存CPU）

2）nodeManager单个节点服务器的老大

3）applicationmaster 单个任务运行的老大

4）container 容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如cpu 内存 硬盘 网络等等

MapReduce架构概述

 

 HDFS、yarn、MapReduce三者关系