Hadoop的高可用搭建

 

在已经安装完hadoop单机和zookeeper前提下

1.免密钥

在node1下。因为node1作为备用主机，并且master我已经实现了免密

ssh-keygen -t rsa

分发秘钥

ssh-copy-id -i master

ssh-copy-id -i node1

ssh-copy-id -i node2

2.修改hadoop配置文件（我在master中修改）

core-site.xml
hdfs-site.xml

yarn-site.xml
mapred-site.xml

我是直接导入文件覆盖

3.同步到其他节点

scp * node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop/

scp * node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop/

4.删除hadoop数据存储目录下的文件  每个节点都需要删除

 rm -rf /usr/local/soft/hadoop-2.7.6/tmp

5.启动zookeeper 三台都需要启动

zkServer.sh start
zkServer.sh status

此时一台一个zk的节点

6.启动JN 存储hdfs元数据

三台JN上执行 启动命令： hadoop-daemon.sh start journalnode

此时一台一个zk节点，一个jn日志节点

7.格式化 在一台NN上执行

hdfs namenode -format

启动当前的NN
hadoop-daemon.sh start namenode

此时master上多了个namenode节点

8.执行同步 没有格式化的NN上执行 在另外一个namenode上面执行

hdfs namenode -bootstrapStandby

这是node1上还没有namenode节点很正常，还没有启动hdfs

9.格式化ZK

在已经启动的namenode上面执行 ！！一定要先 把zk集群正常 启动起来 hdfs zkfc -formatZK

10.启动hdfs集群,在启动了namenode的节点上执行

start-dfs.sh

master上：

node1上：

 node2上：

黄色：QuorumPeerMain：zk的节点，三台都有    3个

粉色：JournalNode：jn日志节点，三台都头   3个

红色：Namenode：管理节点：出现在master和node1上    2个

蓝色：DFSZKFailoverController：ZKFC：用来观察master和node1，防止宕机时可以替代    2个

灰色：DataNode：工作节点，用于存储hdfs数据，出现在node1和node2上   2个

一共12个节点此时

11.启动yarn 在master启动

start-yarn.sh

master：多了一个ResourceManager节点，用于处理整个集群资源的总节点

 

 node1和node2上：多个NodeManger节点，用于跟踪监视资源

此时多了一个ResourceManager节点和2个NodeManager节点

 12.在另外一台主节点上启动RM

 yarn-daemon.sh start resourcemanager

此时node1上：多个一个nNodeManager节点，用于备份

 

 此时node1多了个 ResourceManager节点