hadoop集群环境搭建--双NameNode
hadoop配置文件修改
个人配置文件压缩包地址:
hadoop配置文件压缩包地址点此下载
tar -zxvf 你的压缩包路径/hadoop.tar.gz -C /usr/hadoop(你的hadoop路径)/etc/hadoop/
需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容如下:
core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--指定hadoop数据临时存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hdfs/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.checkpoint.period</name>
<value>60</value>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>zhw1:2181,zhw2:2181,zhw3:2181</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--指定hdfs的nameservice为ns,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!-- ns下面有两个NameNode,分别是zhw1,zhw2 -->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>zhw1,zhw2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address.ns.zhw1</name>
<value>zhw1:9001</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address.ns.zhw2</name>
<value>zhw2:9001</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns.zhw1</name>
<value>zhw1:9000</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns.zhw2</name>
<value>zhw2:9000</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
<!-- 开启NameNode故障时自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>shell(/bin/true)</value>
</property>
<!-- 使用隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>~/.ssh/id_rsa</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://zhw1:8485;zhw2:8485;zhw3:8485/ns</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/data/install/hadoop-2.7.3/journal</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>zhw1:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>zhw1:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>zhw1:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>zhw1:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>zhw1:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
hadoop-env.sh添加如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_281
启动命令
注意首次初始化启动命令和之后启动的命令是不同的,首次启动比较复杂,步骤不对的话就会报错,不过之后就好了
首次启动命令
1.首先启动各个节点的Zookeeper,在各个节点上执行以下命令:
bin/zkServer.sh start
2.初始化zookeeper
在zhw1机器上进行zookeeper的初始化,其本质工作是创建对应的zookeeper节点
bin/hdfs zkfc -formatZK
3.在每个journalnode节点用如下命令启动journalnode
三台机器执行以下命令启动journalNode,用于我们的元数据管理
sbin/hadoop-daemon.sh start journalnode
4.初始化journalNode
zhw1机器上准备初始化journalNode (如果不行就<4.初始化journalNode>中的上下两步调换顺序)
bin/hdfs namenode -initializeSharedEdits -force
zhw1机器上准备初始化namenode
hdfs namenode -format
5.启动namenode
bin/hdfs namenode
6.同步数据(备用节点)
在备用namenode节点执行以下命令,这个是把备用namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!
hdfs namenode -bootstrapStandby
7.结束
zhw2同步完数据后,紧接着在zhw1按Ctrl+C结束namenode进程,然后关闭所有Journalnode
三台操作
sbin/hadoop-daemon.sh stop journalnode
最后
日常启停命令:
sbin/start-all.sh
sbin/stop-all.sh
如果第二台备用namenode出现故障自动消失,请重新整一次启动过程 我个人是删掉了两台里的name与data目录并重新按照启动顺序执行
第一种与第二种方法均可,上面第一种较为方便
第二种首次启动方法
第一步:初始化zookeeper
在zhw1机器上进行zookeeper的初始化,其本质工作是创建对应的zookeeper节点
[root@zhw1 hadoop]$ bin/hdfs zkfc –formatZK
第二步:启动journalNode
三台机器执行以下命令启动journalNode,用于我们的元数据管理
sbin/hadoop-daemon.sh start journalnode
第三步:在主namenode节点格式化namenode和journalnode目录
hdfs namenode -format ns
第四步:启动namenode
zhw1机器上启动namenode
[root@zhw1 hadoop]$ sbin/hadoop-daemon.sh start namenode
zhw2机器上启动namenode
在备用namenode节点执行第一行命令,这个是把备namenode节点的目录格式化并把元数据从主namenode节点copy过来,并且这个命令不会把journalnode目录再格式化了!然后用第二个命令启动备namenode进程!
[root@zhw2 hadoop]$ bin/hdfs namenode -bootstrapStandby
[root@zhw2 hadoop]$ sbin/hadoop-daemon.sh start namenode
第五步:启动所有节点的datanode进程
在zhw1机器上启动所有节点的datanode进程
[root@zhw1 hadoop]$ sbin/hadoop-daemons.sh start datanode
第六步:启动zkfc
在zhw1机器上面启动zkfc进程
[root@zhw1 hadoop]$ sbin/hadoop-daemon.sh start zkfc
在zhw2机器上面启动zkfc进程
[root@zhw2 hadoop]$ sbin/hadoop-daemon.sh start zkfc
第八步:启动jobhsitory
zhw1节点启动jobhistoryserver
[root@zhw1 hadoop]$ sbin/mr-jobhistory-daemon.sh start historyserver