hadoop全分布式集群搭建（4台虚拟机）

HA高可用搭建框图

YARN mr 2.x

 　　ResourceManager ：只资源管理

　　AppMstr 任务调度：询问ResourceManager之后先创建容器container，开辟maptask和reducetask。

　　NodeManager：向RM汇报资源信息。

　　RM也需要HA（高可用）：通过ZooKeeper实现。

　　AppMstr：不是常服务。一个job作业对应一个AppMstr。

hadoop集群搭建（四台虚拟机）

 

　　分布式存储：

　　　　NN-1 namenode主结点

　　　　NN-1 namenode备结点

　　　　DN datanode

　　　　ZK zookeeper

　　　　ZKFC 在namenode上监控健康

　　　　JNN journalnode：两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。也使得主节点active、standby状态的切换。

　　计算（和存储部分的搭建实际上没什么关系）：

　　　　RS resourceManager

　　　　NM nodeManager：管理本datanode的资源，所以要和datanode一一对应。

 

hadoop启动顺序

　　zkServer.sh start  启动zookeeper

　　start-dfs.sh 启动namenode、datanode、journalnode、zkfc 

　　start-yarn.sh 启动nodeManager

　　yarn-daemon.sh start resourcemanager 启动resourceManager

hadoop启动顺序

　　yarn-daemon.sh stop resourcemanager 关闭resourceManager

　　stop-all.sh