NameNode | DataNode | Zookeeper | ZKFC | JournalNode | ResourceManager | NodeManager | |
node1 | √ | √ | √ | √ | |||
node2 | √ | √ | √ | √ | √ | √ | |
node3 | √ | √ | √ | √ | |||
node4 | √ | √ | √ | √ |
(ZKFC在NameNode上启动,NodeManager在DataNode上启动,可通过start-dfs.sh和start-yarn.sh,yarn-daemons.sh查看)
1、4台机器,64位cenos6.5系统,Hadoop版本2.6.5
2、配置/etc/hosts
3、安装JDK1.8,配置环境变量
4、SSH免密登录
5、在node1,node2,node3上安装zookeeper,详见https://www.cnblogs.com/erbing/p/7493792.html
6、安装配置hadoop集群(在node1上操作)
- 下载并解压hadoop安装包
tar -zxvf hadoop-2.6.5-x64.tar.gz
- 添加到环境变量中(每台都做)
vim /etc/profile export HADOOP_HOME=/app/hadoop-2.6.5 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- 修改hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_144
(如果ssh端口不是默认的22,在hadoop-env.sh中添加export HADOOP_SSH_OPTS="-p 1234")
- 修改hdfs-site.xml
<configuration> <!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 --> <property> <name>dfs.nameservices</name> <value>ns1</value> </property> <!-- ns1下面有两个NameNode,分别是nn1,nn2,name中的ns1必须和nameservice中一样 --> <property> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <!-- nn1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>node1:9000</value> </property> <!-- nn1的http通信地址 --> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>node1:50070</value> </property> <!-- nn2的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>node2:9000</value> </property> <!-- nn2的http通信地址 --> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>node2:50070</value> </property> <!-- 指定NameNode的元数据在JournalNode上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://node2:8485;node3:8485;node4:8485/ns1</value> </property> <!-- 指定JournalNode在本地磁盘存放数据的位置 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/app/hadoop-2.6.5/journaldata</value> </property> <!-- 开启NameNode失败自动切换 --> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <!-- 配置失败自动切换实现方式 --> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行--> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> <!-- 使用sshfence隔离机制时需要ssh免登陆 --> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> </configuration>
- 修改core-site.xml
<configuration> <!-- 指定hdfs的nameservice为ns1 --> <property> <name>fs.defaultFS</name> <value>hdfs://ns1/</value> </property> <!-- 指定hadoop临时目录,tmp这个目录需要提前建立好 --> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop-2.6.5/tmp</value> </property> <!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>node1:2181,node2:2181,node3:2181</value> </property> </configuration>
- 修改mapred-site.xml
<configuration> <!-- 指定mr框架为yarn方式 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- 修改yarn-site.xml
<configuration> <!-- 开启RM高可用 --> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <!-- 指定RM的cluster id --> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yrc</value> </property> <!-- 指定RM的名字 --> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <!-- 分别指定RM的地址 --> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>node1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>node4</value> </property> <!-- 指定zk集群地址 --> <property> <name>yarn.resourcemanager.zk-address</name> <value>node1:2181,node2:2181,node3:2181</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
- 修改yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_144
- 修改slaves
node2 node3 node4
- 将配置好的hadoop拷贝到其他节点
scp -r ./hadoop-2.6.5 hello@node2:/app/ scp -r ./hadoop-2.6.5 hello@node3:/app/ scp -r ./hadoop-2.6.5 hello@node4:/app/
7、启动zookeeper集群(分别在node1、node2、node3上启动zk)
zkServer.sh start
#查看状态:一个leader,两个follower
zkServer.sh status
8、启动journalnode(分别在在node2、node3、node4上执行)
hadoop-daemon.sh start journalnode
jps命令检验,node2、node3、node4上多了JournalNode进程
9、格式化HDFS
- 在node1上执行命令(任意一个NameNode上):
hdfs namenode -format
- 格式化后会根据core-site.xml中的hadoop.tmp.dir配置生成元数据文件(fsimage等),上面配置的地址是/app/hadoop-2.6.5/tmp
- 然后启动node1上的NameNode
hadoop-daemon.sh start namenode
- 在未格式化过的NameNode上(node2)执行以下命令同步元数据
hdfs namenode -bootstrapStandby
(如果是把一个非HA集群转成HA集群,应该运行命令“hdfs –initializeSharedEdits”,这会初始化JournalNode中的数据)
10、在node1上格式化ZKFC(任意一个NameNode上)
hdfs zkfc -formatZK
这会在ZooKeeper中创建znode节点,存储着NameNode失败自动切换的数据
11、启动HDFS(在node1上执行)
sh start-dfs.sh
12、启动YARN(在node1上执行)
sh start-yarn.sh
在node4上执行(只启动resourcemanager)
yarn-daemon.sh start resourcemanager
成功部署完成后,通过jps查看进程是否都存在,或者在浏览器输入http://node1:50070查看NameNode信息。
13、为了方便集群管理,给大家提供了一键启动和关闭的脚本
启动顺序应为:ZooKeeper -> JournalNode (Hadoop) -> NameNode (Hadoop) -> DataNode (Hadoop) -> 主 ResourceManager/NodeManager (Hadoop) -> 备份 ResourceManager (Hadoop) -> ZKFC (Hadoop) -> MapReduce JobHistory (Hadoop)
关闭顺序相反
#!bin/bash echo "------------开始启动集群-------------" echo "------------正在启动JournalNode-----------" for i in root@node2 root@node3 root@node4 do ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start journalnode' done echo "------------正在启动NameNode-----------" hadoop-daemon.sh start namenode ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode' echo "------------正在启动DataNode-----------" for i in root@node2 root@node3 root@node4 do ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start datanode' done echo "------------正在启动resourmanager和nodemanager-----------" sh start-yarn.sh ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh start resourcemanager' echo "------------正在启动zkfc-----------" hadoop-daemon.sh start zkfc ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start zkfc' echo "-----------集群启动完成,请用jps检查或浏览器检查是否成功-----------"
#!bin/bash echo "------------开始关闭集群-------------" echo "------------正在关闭zkfc-----------" ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop zkfc' hadoop-daemon.sh stop zkfc echo "------------正在关闭resourmanager和nodemanager-----------" ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh stop resourcemanager' sh stop-yarn.sh echo "------------正在关闭DataNode-----------" for i in root@node2 root@node3 root@node4 do ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop datanode' done echo "------------正在关闭NameNode-----------" hadoop-daemon.sh stop namenode ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop namenode' echo "------------正在关闭JournalNode-----------" for i in root@node2 root@node3 root@node4 do ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop journalnode' done echo "-----------集群关闭完成,请用jps检查是否成功-----------"
测试集群工作状态的一些指令:
./bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息
./bin/hdfs haadmin -getServiceState nn1 查看namenode高可用
./bin/yarn rmadmin -getServiceState rm1 查看ResourceManager高可用
./sbin/hadoop-daemon.sh start namenode 单独启动一个namenode进程
./sbin/hadoop-daemon.sh start zkfc 单独启动一个zkfc进程