Hadoop HA搭建

在搭建高可用集群是需要用到zookeeper因此我们要先搭建zookeeper

zookeeper搭建（搭建过程相对简单，但是要细心！！）

1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz

2、配置环境变量 vim /etc/profile

export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
​
source /etc/profile

3、修改配置文件 cd conf cp zoo_sample.cfg zoo.cfg

修改
dataDir=/usr/local/soft/zookeeper-3.4.6/data
​
增加
server.0=master:2888:3888
server.1=node1:2888:3888
server.2=node2:2888:3888

4、同步到其它节点 scp -r zookeeper-3.4.6 node1:pwd scp -r zookeeper-3.4.6 node2:pwd

配置node1和node2的环境变量
scp /etc/profile node1:/etc/
scp /etc/profile node2:/etc/
​
在所有节点执行
source /etc/profile

4、创建/usr/local/soft/zookeeper-3.4.6/data目录,所有节点都要创建

mkdir /usr/local/soft/zookeeper-3.4.6/data
​
在data目录下创建myid文件
vim myid 
master,node1,node2分别加上0，1，2

5、启动zk， zkServer.sh start 三台都需要执行

zkServer.sh status 查看状态
​
当有一个leader的时候启动成功

连接zk zkCli.sh

zk  是一个目录结构 ，每个节点可以存数据，同时可以有子节点

zk shell

创建目录
create /test test
create /test/a 1

获取数据
get /test
 
ls /test
​
delete 只能删除没有子节点的节点
rmr /test  删除节点

关闭命令

zkServer.sh stop

拍摄快照

重置zk 1、杀掉所有zk进程 kiil -9 pid

2、删除data目录下的version文件, 所有节点都要删除 rm -rf /usr/local/soft/zookeeper-3.4.6/data/version-2

2、启动zk zkServer.sh start

 

HA搭建

jdk hosts
1、防火墙
service iptables stop
2、时间同步
yum install ntp
ntpdate -u s2c.time.edu.cn

或者
date -s 20180503

3、免密钥 (远程执行命令)
在两个主节点生成密钥文件
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id ip

master-->master,node1,node2
node1-->master,node1,node2

4、修改hadoop配置文件
core-site.xml
hdfs-site.xml

同步到其它节点
scp * node1:`pwd`
scp * node2:`pwd`

5、删除hadoop数据存储目录下的文件 每个节点都需要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp

6、启动zookeeper 三台都需要启动
zkServer.sh start
zkServer.sh status

7、启动JN 存储hdfs元数据
三台JN上执行 启动命令：
hadoop-daemon.sh start journalnode

8、格式化 在一台NN上执行
hdfs namenode -format
启动当前的NN
hadoop-daemon.sh start namenode

9、执行同步 没有格式化的NN上执行 在另外一个namenode上面执行
hdfs namenode -bootstrapStandby

10、格式化ZK 在已经启动的namenode上面执行
！！一定要先 把zk集群正常 启动起来
hdfs zkfc -formatZK

11、启动hdfs集群,在启动了namenode的节点上执行
start-dfs.sh

 

yarn 高可用
1、修改配置文件
yarn-site.xml
mapred-site.xml

同步到所有节点

2、启动yarn 在master启动
start-yarn.sh

3、在另外一台主节点上启动RM
yarn-daemon.sh start resourcemanager

master:8088
node1:8088