Hadoop组成架构

Hadoop框架组成：

　　1.x 系列  MapReduce 负责资源调度及任务计算  HDFS 负责数据存储 Common 其他辅助工具

　　2.x 系列 YARN负责资源的调度 MapReduce负责任务的计算 HDFS负责数据存储 Common其他辅助工具

　　3.x 系列 和2.x系列一致

Hadoop Distributed File System  简称HDFS

　　成员：

　　　　NameNode：存储文件的元数据，如：文件名、文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块(block)列表和块(block)所在的DataNode等。

　　　　DataNode：在本地文件系统存储文件块数据，以及块数据的校验和。

　　　　Seconday NameNode(2nn) ：每隔一段时间（一个小时或数据量满一百万条）对NameNode进行数据备份

Yet Another Resource Negotiator 简称YARN ，另一种资源协调者，是Hadoop的资源管理器。

　　成员：

　　　　ResourceManager（RM）：整个集群资源（内存、CPU）的老大

　　　　NodeManager（NM）：单个节点服务器资源老大

　　　　Application Master（AM）：单个任务运行的老大

　　　　Container：容器，里面封装了任务所需要的资源。（CPU、内存、磁盘、网络等）