Hadoop集群配置【四、Hbase部署】
Hbase环境部署
一、安装准备
- 下载cdh3版本的hbase
- 默认前提已经安装好cdh3版本的hadoop
master 192.168.2.25 主机名:a1
slave1 192.168.2.26 主机名:a2
slave2 192.168.2.27 主机名:a3
slave3 192.168.2.28 主机名:a4
slave4 192.168.2.29 主机名:a5
二、安装步骤(默认在master节点上进行)
- 解压hbase的压缩包
- 修改$HBASE_HOME /conf/hbase-env.sh文件
export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"
export JAVA_HOME=就是bin的上级目录,bin里面有java javac什么的
export HBASE_MANAGES_ZK=true
export HBASE_HOME=你解压的目录,就是bin的上级目录。
export HADOOP_HOME=你hadoop解压的目录,就是bin的上级目录。
- 修改$HBASE_HOME /conf/hbase-site.xml文件,内容如下
注意点:
1>其中首先需要注意hdfs://a1:54310/hbase这里,必须与你的Hadoop集群的core-site.xml文件配置保持完全一致才行,如果你Hadoop的hdfs使用了其它端口,请在这里也修改。再者就是Hbase该项并不识别机器IP,只能使用机器hostname才可行,即若使用a1的IP(192.168.2.25)是会抛出java错误。
2>hbase.zookeeper.quorum 的个数必须是奇数。
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://a1: 54310/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>192.168.2.25:60000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>192.168.2.25,192.168.2.26,192.168.2.27</value>【奇数个】
</property>
</configuration>
- 修改$HBASE_HOME /conf/regionservers(同hadoop的slaves文件)
a1
a2
a3
a4
a5
将配置好的hbase拷贝到其他机器上
启动hbase(前提:hadoop已经启动)
三、检查Hbase是否正常工作
去bin下面执行./start-hbase.sh,然后用jps看进程是不是在Hadoop基础上增加了
HMaster,HRegionServer,HQuorumPeer
然后ssh a2 去看看是不是有HRegionServer,然后每个slave都看看。
或者你打开这个网页
http://master的IP地址:60010,这样看看RegionServer的个数对不对。
我上次出现了这个错误RegionServer只有一个,而且停掉HBase的时候slave上也停不掉。原因很可能就是你regionserver连不到master了,原因在于master上的Hosts文件127.0.0.1映射的主机名,我的错误具体参见第一章,安装提示的改了之后再试试,应该就没问题了。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· 周边上新:园子的第一款马克杯温暖上架
· Open-Sora 2.0 重磅开源!
· 分享 3 个 .NET 开源的文件压缩处理库,助力快速实现文件压缩解压功能!
· Ollama——大语言模型本地部署的极速利器
· DeepSeek如何颠覆传统软件测试?测试工程师会被淘汰吗?