hadoop2对比hadoop1

hadoop2对比hadoop1

1、体系结构

HDFS+MapReduce,共同点都是分布式的，主从关系结构。

HDFS=一个NameNode+多个DataNode,

NameNode含有我们用户存储的文件的元数据信息。数据本身是放在硬盘上的，但是在运行时是加载在内存里的。

缺点：（1）当我们的NameNode无法在内存中加载全部元数据信息的时候，集群的寿命就到头了。

（2）权限设计不够彻底的，hadoop1使用的是linux权限系统。

（3）大量小文件存储时，会造成NameNode的内存压力剧增。

改进：（1）2个NameNode一起共存，组成HDFS federation

HDFS federation 结构如下：

 

（2）HA （Hight Avialiable）自动、手工切换

结构如下：

MapReduce=一个JobTracker+多个TaskTracker

JobTracker主要的工作使管理用户提交的作业和分配资源。

缺点：（1）对实时性作业和批处理作业，需要搭建不同的集群环境，每个集群的资源利用率不高。

（2）MapReduce职责过多，需要分解

Yarn是一个平台，用于处理资源分配和运行任务的。spark、storm、mapreduce在运行时，遵循自己的处理逻辑，互不干涉，共同点是使用相同的平台上的资源（包含内存、cpu、网络、硬盘），存在竞争关系。

Yarn的架构如图：