HBase集群部署
HBase集群部署
1、背景知识
HBase是一个面向列的分布式存储数据库,利用HBase技术可以在PC Server上搭建大规模结构化存储集群。
HBase的运行依赖于Hadoop和Zookeeper。HBase利用HDFS作为其文件存储系统;利用MapReduce处理HBase中的数据;利用Zookeeper作为分布式应用程序协调服务,同时存储HBase集群的元数据信息可以为HBase集群提供故障自动转移功能,以保证HBase集群的高可用。
2、使用软件及其版本
环境
虚拟机:VirtualBox 6.0.24 r139119
Linux:CentOS 7
Windows:Windows10
软件
HBase:hbase-1.2.0-cdh5.7.0
Zookeeper:zookeeper-3.4.5-cdh5.7.0
工具
远程连接工具:XShell6
SFTP工具:FileZilla3.33.0
3、目标
-
HBase集群部署
4、操作步骤
-
HBase集群规划
主机名 IP HMaster HRegionServer master 192.168.137.2 是 否 slave01 192.168.137.3 是 是 slave02 192.168.137.4 否 是 -
HBase集群部署
-
下载HBase
在下列网址http://archive-primary.cloudera.com/cdh5/cdh/5/下载hbase的cdh版本。注意:当前cdh版本已经不在提供免费资源下载。
-
安装HBase
-
上传hbase-1.2.0-cdh5.7.0.tar.gz到CentOS后。解压安装,使用命令:
tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz -C ~/app/
-
修改配置文件
进入hbase的安装目录下的conf目录中
-
修改配置文件hbase-env.sh,使用命令
sudo vi hbase-env.sh
添加配置信息到文件末尾
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
export HABSE_MANAGES_ZK=false其中
export HABSE_MANAGES_ZK
设置为false
,表示不使用HBase内置的Zookeeper -
修改配置文件hbase-site.xml,使用命令
sudo vi hbase-site.xml
添加配置信息
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master:2181,slave01:2181,slave02:2181</value>
</property>-
hbase.rootdir:表示HBase集群中所有的HRegionServer共享目录,用来持久化HBase的数据,一般设置的是HDFS的文件目录,由于部署的Hadoop是高可用集群,因此,这里需要与Hadoop配置文件core-site.xml中参数fs.defaultFs指定的nameservice一致(ns),若使用非高可用集群,则指定NameNode节点主机名加端口号即可。
-
hbase.cluster.distributed:设置HBase的存储模式为分布式存储,默认为false
-
hbase.zookeeper.quorum:设置zookeeper的服务器列表信息
-
-
修改配置文件regionservers,使用命令
sudo vi regionservers
删除
localhost
,添加运行HRegionServer服务的主机名:slave01
slave02 <img src="项目07/image-20210922144126195.png" alt="image-20210922144126195" style="zoom:80%;" /> -
复制hadoop配置文件
进入hadoop安装目录下的/etc/hadoop目录,将配置文件core-site.xml和hdfs-site.xml复制到HBase的安装目录下的conf目录中,用于HBase启动时读取Hadoop的核心配置信息和HDFS信息,使用命令:
cp {core-site.xml,hdfs-site.xml} ~/app/hbase-1.2.0-cdh5.7.0/conf/
-
-
配置备用HMaster
进入HBase安装目录的conf目录下,执行
vi backup-masters
命令编辑备用HMaster配置文件,在配置文件中添加备用HMaster所在主机的主机名slave01
-
-
分发HBase安装目录
在master节点把配置好的hbase安装目录分发到slave01节点和slave02节点上,使用命令:
scp -r hbase-1.2.0-cdh5.7.0/ hadoop@slave01:~/app/
scp -r hbase-1.2.0-cdh5.7.0/ hadoop@slave02:~/app/ -
配置HBase环境变量
在master,slave01,slave02分别配置环境变量,添加HBASE_HOME信息,使用命令
sudo vi /etc/profile
添加信息
export HBASE_HOME=/home/hadoop/app/hbase-1.2.0-cdh5.7.0
export PATH=$HBASE_HOME/bin:$PATH使用
source /etc/profile
命令,使配置生效。 -
启动HBase集群
在确保Zookeeper集群和Hadoop高可用集群正常启动的情况下,启动HBase高可用集群,在master节点使用命令:
start-hbase.sh
-
检查
在master,slave01,slave02节点使用
jps
命令查看进程三个节点出现上述进程,表示HBase集群配置成功!
也可以通过浏览器访问
192.168.137.2:60010
,查看
-
-
5、总结