流式大数据计算实践（3）----高可用的Hadoop集群
一、前言
1、上文中我们已经搭建好了Hadoop和Zookeeper的集群，这一文来将Hadoop集群变得高可用
2、由于Hadoop集群是主从节点的模式，如果集群中的namenode主节点挂掉，那么集群就会瘫痪，所以我们要改造成HA模式（High Avaliable，高可用性）的集群，说白了就是设置一个备用的namenode节点，当线上使用的namenode挂掉后，会切换备用节点，让集群可以继续运行
二、HA模式配置
HA模式原理：比如设置两个namenode节点，一个active，一个standby（同时只能active一个namenode），集群运行中通过JournalNode来同步两个namenode节点的数据，通过Zookeeper来做节点维护，Zookeeper与节点之间存在一个心跳机制，当Zookeeper检测不到某个节点的心跳时，则认为节点挂掉了，就会启动切换机制
1、首先配置journalnode集群 通信的超时时间，如果机器配置不好的情况下，连接时间会比较长，所以加大超时时间，生产环境尽量设置越小越好，这样检测故障也会更加及时
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>60000</value> </property>
2、failover配置----hdfs-site.xml配置
（1）配置集群id
（2）配置nodenode组的节点
（3、4）配置每个namenode节点的rpc地址
（5、6）配置每个namenode节点的控制台地址
（7）配置journalnode集群的访问地址，由于我这里只有两台虚拟机，所以都加上去了，生产环境下，尽量将journalnode和namenode分开在不同的机器，因为一般namenode节点挂了，很可能是因为namenode所在的物理机本身存在一些问题导致，放在一起又会导致journalnode节点也挂掉
（8）配置dfs客户端，用来判断哪个namenode是active的
（9、10）配置结束namenode的方式：当检测到namenode挂掉并进行备用节点切换时，要将之前的namenode彻底干掉，因为要防止namenode的“假死”，比如namenode所在的机器可能由于网络不好被认为挂掉而切换了备用节点，当原namenode机器网络恢复，就会造成两个namenode同时工作，导致数据混乱，这就是所谓的“脑裂现象”。为了防止这个现象，当检测到namenode挂掉，那么就直接SSH连接到这台机器上，并将namenode直接kill掉，第10条配置就要指定当初配置SSH生成的私钥目录
（11）配置journalnode的数据存放的文件夹（要记得去创建文件夹）
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.nameservices</name> <value>stormcluster</value> </property> <property> <name>dfs.ha.namenodes.stormcluster</name> <value>storm1,storm2</value> </property> <property> <name>dfs.namenode.rpc-address.stormcluster.storm1</name> <value>storm1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.stormcluster.storm2</name> <value>storm2:8020</value> </property> <property> <name>dfs.namenode.http-address.stormcluster.storm1</name> <value>storm1:50070</value> </property> <property> <name>dfs.namenode.http-address.stormcluster.storm2</name> <value>storm2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://storm1:8485;storm2:8485/stormcluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.stormcluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/work/hadoop/jn</value> </property>
3、failover配置----core-site.xml配置
（1）将之前设置的defaultFS修改成我们刚刚配置的集群id
vim /work/soft/hadoop-2.6.4/etc/hadoop/core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://stormcluster</value> </property>
4、启动/停止journalnode
$HADOOP_PREFIX/sbin/hadoop-daemon.sh start journalnode
$HADOOP_PREFIX/sbin/hadoop-daemon.sh stop journalnode
5、启动后用jps命令看看journalnode节点是否存在
6、将第一个namenode进行格式化
hdfs namenode -format
7、将第二个namenode初始化作为备份
hdfs namenode -bootstrapStandby
8、将第一个namenode的journode进行初始化
hdfs namenode -initializeSharedEdits
9、将两台机器的namenode启动
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start namenode
10、通过50070端口访问两台机的控制台，可以发现两个namenode都处于standby状态
11、执行命令手动切换active节点，将storm1激活，storm2变成备份，刷新控制台，可以发现storm1变成了active，storm2依然是standby
hdfs haadmin -failover storm2 storm1
12、配置zkfc自动化切换
（1）首先配置Zookeeper的超时时间，生产环境尽量设置小一些，及时判断是否宕机
vim /work/soft/hadoop-2.6.4/etc/hadoop/core-site.xml <property> <name>ha.zookeeper.session-timeout.ms</name> <value>30000</value> </property>
（2）启动Zookeeper集群
$ZOOKEEPER_HOME/bin/zkServer.sh start
（3）配置自动化切换和Zookeeper集群的地址
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>storm1:2181,storm2:2181</value> </property>
（4）初始化Zookeeper集群
$HADOOP_PREFIX/bin/hdfs zkfc -formatZK
（5）进入Zookeeper命令行查看目录，可以看到多了一个hadoop-ha，说明配置正确
$ZOOKEEPER_HOME/bin/zkCli.sh
ls /
（6）我们把两台机的namenode都重启一下
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs stop namenode $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start namenode
（7）通过50070控制台可以看到两台都处于standby状态（如果namenode起不来，就格式化一下）
（8）启动zkfc
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script $HADOOP_PREFIX/bin/hdfs start zkfc
（9）用jps命令可以看到新的进程
（10）刷新50070控制台，可以发现有一台namenode已经变成了active
三、总结
1、到此我们的Hadoop集群已经搭建完毕，终于可以开始使用HBash了，要注意当前集群节点的启动顺序
zookeeper-->journalnode-->namenode-->zkfc-->datanode
2、以下是按照启动顺序的启动命令总结
$ZOOKEEPER_HOME/bin/zkServer.sh start $HADOOP_PREFIX/sbin/hadoop-daemon.sh start journalnode $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start namenode $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script $HADOOP_PREFIX/bin/hdfs start zkfc $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start datanode
3、以下是按照启动顺序的停止命令总结
$ZOOKEEPER_HOME/bin/zkServer.sh stop $HADOOP_PREFIX/sbin/hadoop-daemon.sh stop journalnode $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs stop namenode $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script $HADOOP_PREFIX/bin/hdfs stop zkfc $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs stop datanode
4、经常遇到namenode或者datanode起不来，可以删除数据目录，再执行格式化命令
rm -rf /work/hadoop/nn/* rm -rf /work/hadoop/dn/* hdfs namenode -format
