【Hadoop离线基础总结】Hadoop的架构模型
Hadoop的架构模型
1.x的版本架构模型介绍
-
架构图
-
HDFS分布式文件存储系统(典型的主从架构)
NameNode:集群当中的主节点,主要用于维护集群当中的元数据信息,以及接受用户的请求,处理用户的请求
SecondaryNameNode:主要是辅助NameNode管理元数据信息
DataNode:集群当中的从节点,主要用于存储数据
什么是元数据?
元数据就是描述数据的数据。简单的来说,一个文件的存放位置、文件名称、打开方式、创建人、修改时间、文件大小、文件权限等这些都是描述性的数据,都可以称为元数据。拿到现实生活中来说,判断一个人是否是我们想要找到的人,他的样貌、身高、体型、穿着这些都是描述性的信息,也就是元数据。 -
mapReduce分布式计算系统
JobTracker:主节点,接受用户请求,分配任务给taskTracker去执行
TaskTracker:从节点,主要用于接受jobTracker分配的任务
2.x的版本架构模型介绍
- 第一种:NameNode和ResourceManager单节点架构模型
HDFS文件存储系统(典型的主从架构)
NameNode:集群当中的主节点,主要用于维护集群当中的元数据信息,以及接受用户的请求,处理用户的请求
SecondaryNameNode:主要是辅助NameNode管理元数据信息
DataNode:集群当中的从节点,主要用于存储数据
Yarn资源调度系统
ResourceManager:主节点,接受用户请求,分配资源(分配CPU、分配内存等)
NodeManager:从节点,主要用于处理计算任务
- 第二种:NameNode单节点和ResourceManager高可用架构模型
- 第三种:NameNode高可用和ResourceManager单节点架构模型
NameNode高可用
NameNode Active:处于活跃的主节点,处理用户请求,维护元数据信息
NameNode StandBy:处于待命的节点,当活跃的主节点出故障停止工作后,切换为活跃的主节点,对外提供服务
JournalNode:专门用于同步元数据信息(因为,如果NameNode高可用,就一定要保证两个NameNode的元数据信息一致,否则就会出现脑裂的问题。JournalNode机制就是用来解决这个问题的)
zkfc ( ZooKeeper FailLover Controller ):NameNode的守护进程,用于监听NameNode的状态,当NameNode Active出故障停机时,会立刻通知NameNode StandBy切换为活跃的主节点
- 第四种:NameNode高可用和ResourceManager高可用架构模型