HDFS-HA搭建（一般用不到）

HDFS-HA搭建（一般用不到）

1、防火墙（搭建之前要关上）

service firewalld stop

2、时间同步（前面做过了就不用再做了）

yum install ntp
ntpdate -u s2c.time.edu.cn

或者
date -s 20180503

3、免密钥登录配置 (远程执行命令)

master-->master,node1,node2（master的免密钥登录前面已经设置过了）
node1-->master,node1,node2（需要设置）

查看是否已经存在密钥
cd ~/.ssh
ls
如果含有id_rsa（私钥）  id_rsa.pub（公钥），就不用再生成了

如果没有存在的密钥，需要生成：ssh-keygen -t rsa
生成密钥后，分别连接master、node1、node2
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2

测试免密钥登录是否配置成功
[root@node1 .ssh]# ssh master
Last login: Sun Feb 13 14:13:34 2022 from 192.168.58.1
[root@master ~]# ssh node1
Last login: Sun Feb 13 15:45:00 2022 from 192.168.58.1
[root@node1 ~]# ssh node2
Last login: Sun Feb 13 15:45:32 2022 from 192.168.58.1
[root@node2 ~]# 
说明配置成功

4、修改hadoop配置文件

修改之前记得拍一下快照（需要启动集群）
修改配置文件之前需要停止集群
stop-dfs.sh
切换到hadoop目录
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

修改hadoop目录下的两个文件

vim core-site.xml

在<configuration></configuration>中加入（已存在的配置不用删除）
<property>
	<name>ha.zookeeper.quorum</name>
	<value>master:2181,node1:2181,node2:2181</value>
</property>

vim hdfs-site.xml

在<configuration></configuration>中加入（已存在的配置需要删除）
<!-- 指定hdfs元数据存储的路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/namenode</value>
</property>

<!-- 指定hdfs数据存储的路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/datanode</value>
</property>

<!-- 数据备份的个数 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<!-- 关闭权限验证 -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>

<!-- 开启WebHDFS功能（基于REST的接口服务） -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

<!-- //////////////以下为HDFS HA的配置////////////// -->
<!-- 指定hdfs的nameservices名称为mycluster -->
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>

<!-- 指定cluster的两个namenode的名称分别为nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>

<!-- 配置nn1,nn2的rpc通信端口 -->
<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>master:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>node1:8020</value>
</property>

<!-- 配置nn1,nn2的http通信端口 -->
<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>node1:50070</value>
</property>

<!-- 指定namenode元数据存储在journalnode中的路径 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;node1:8485;node2:8485/cluster</value>
</property>

<!-- 指定journalnode日志文件存储的路径 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/journal</value>
</property>

<!-- 指定HDFS客户端连接active namenode的java类 -->
<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制为ssh -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>

<!-- 指定秘钥的位置 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<!-- 开启自动故障转移 -->
<property>  
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

将配置文件同步到其它节点
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
scp ./* node1:`pwd`
scp ./* node2:`pwd`

5、删除hadoop数据存储目录下的文件 每个节点都需要删除

rm -rf /usr/local/soft/hadoop-2.7.6/tmp

6、启动zookeeper 三台都需要启动

先查看ZK是否启动（如果含有follower、leader，说明已经启动）
zkServer.sh status

如果未启动，启动一下
zkServer.sh start

7、启动JN 存储hdfs元数据

三台JN上执行 启动命令：
/usr/local/soft/hadoop-2.7.6/sbin/hadoop-daemon.sh start journalnode

8、格式化 在一台NN上执行，这里选择master

hdfs namenode -format

启动当前的NN
hadoop-daemon.sh start namenode

9、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行 这里选择node1

/usr/local/soft/hadoop-2.7.6/bin/hdfs namenode -bootstrapStandby

10、格式化ZK 在master上面执行，！！一定要先 把zk集群正常 启动起来

/usr/local/soft/hadoop-2.7.6/bin/hdfs zkfc -formatZK

11、启动hdfs集群,在master上执行

start-dfs.sh