大数据学习笔记——Hbase高可用+完全分布式完整部署教程
Hbase高可用+完全分布式完整部署教程
本篇博客承接上一篇sqoop的部署教程,将会详细介绍完全分布式并且是高可用模式下的Hbase的部署流程,废话不多说,我们直接开始!
1. 安装准备
部署Hbase时,我们使用的版本为1.2.8
2. 正式安装
1. 将hbase-1.2.8-bin.tar.gz文件使用远程传输软件放到s101的/home/centos/downloads下
2. 将hbase-1.2.8-bin.tar.gz解压缩至/soft下
tar -xzvf /home/centos/downloads/hbase-1.2.8-bin.tar.gz -C /soft
3. 进入/soft目录,建立hbase的符号链接
cd /soft
ln -s hbase-1.2.8 hbase
4. 修改并生效环境变量
nano /etc/profile
在文件末尾添加以下代码:
#hbase环境变量
export HBASE_HOME=/soft/hbase
export PATH=$PATH:$HBASE_HOME/bin
生效环境变量后保存退出
source /etc/profile
5. 分发hbase以及hbase的符号链接到其他所有的节点
xsync.sh /soft/hbase-1.2.8
然后在其他每个节点上输入命令:
cd /soft
ln -s hbase-1.2.8 hbase
6. 同步环境变量
xsync.sh /etc/profile
然后在每个节点上生效环境变量:
xcall.sh source /etc/profile
7. 先只在s101节点上修改配置文件regionservers,类似于部署Hadoop时修改的slaves文件
nano /soft/hbase/conf/regionservers
添加以下代码:
s102
s103
s104
8. 在s101上修改配置文件hbase-env.sh
nano /soft/hbase/conf/hbase-env.sh
因为HBase自带的就有zookeeper,因此我们需要将下面这个设置成false,从而可以使用我们自己的zookeeper配置
修改:export HBASE_MANAGES_ZK=false
export JAVA_HOME=/soft/jdk
9. 在s101上修改配置文件hbase-site.xml
nano /soft/hbase/conf/hbase-site.xml
添加以下配置即可:
<configuration> <!-- 启动hbase分布式 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- hbase工作目录 --> <property> <name>hbase.rootdir</name> <value>hdfs://mycluster/user/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/centos/zk</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>s102:2181,s103:2181,s104:2181</value> </property> </configuration>
10. 在s101上将hadoop配置文件core-site.xml和hdfs-site.xml放置在/soft/hbase/conf下
cp /soft/hadoop/etc/hadoop/core-site.xml /soft/hbase/conf/
cp /soft/hadoop/etc/hadoop/hdfs-site.xml /soft/hbase/conf/
11. s101上的配置文件均已配置完毕,现在进行同步
xsync.sh /soft/hbase/conf/
12. 高可用配置:在/soft/hbase/conf/下添加backup-masters文件
nano /soft/hbase/conf/backup-masters
添加:s105
13. 全部配置完毕,启动hbase
由于hbase是架构在HDFS文件系统上的,因此需要先启动zookeeper和HDFS
xzk.sh start
start-dfs.sh
最后再启动hbase:
start-hbase.sh
14. 验证启动是否成功
hbase version,出现下面的画面:
查看WebUI:s101:16010,发现Master和备份Master还有Region Servers都已经启动,配置大功告成!!!