HBASE安装(无HA)

######################################################################################################
HBASE安装
######################################################################################################
安装环境：

cendos6.8
jdk1.8

安装包版本：

zookeeper-3.4.10.tar.gz
hadoop-2.6.5.tar.gz
hbase-1.3.1-bin.tar.gz

角色分配：

3台机器（不配置HA）
ip    hostname    hbase角色
192.168.0.21 elasticsearch    master
192.168.0.29 hbase-test001    slave
192.168.0.30 hbase-test002    slave

添加hosts

vim /etc/hosts
192.168.0.21 elasticsearch
192.168.0.29 hbase-test001
192.168.0.30 hbase-test002

ssh设置免密登录

ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hbase-test001
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hbase-test002

######################################################################################################
安装zookeeper

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
tar zxvf zookeeper-3.4.10.tar.gz 
cd zookeeper-3.4.10
cd conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
添加如下内容：
dataDir=/root/libin/data/zk/data
dataLogDir=/root/libin/data/zk/logs
#elasticsearch
server.1=elasticsearch:2888:3888
#hbase_test001
server.2=hbase-test001:2888:3888
#hbase_test002
server.3=hbase-test002:2888:3888

创建zk数据目录
mkdir -p /root/libin/data/zk/logs
mkdir -p /root/libin/data/zk/data

创建myip文件
cd /root/libin/data/zk/data
vim myid
在myid文件中添加server.X中x编号。如server.1节点，则myid中添加1即可。

其他两台做相同配置

启动zk，三台机器都需要执行启动命令
bin/zkServer.sh start

查看zk运行状态
bin/zkServer.sh status

zk客户端启动，验证zk安装是否正确
bin/zkCli.sh -server 192.168.0.30:2181

例如
[zk: 192.168.0.30:2181(CONNECTED) 1] ls /
[zookeeper, hbase]

 

######################################################################################################
安装hadoop

修改linux系统配置
vim /etc/security/limits.conf
# NS_PER_INSTALL
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

##修改后，需要reboot机器


wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
tar zxvf hadoop-2.6.5.tar.gz
cd hadoop-2.6.5
cd etc/hadoop

修改以下配置文件
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64

vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://elasticsearch:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/libin/data/hadoop/tmp</value>
</property>
</configuration>

vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/libin/data/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/libin/data/hadoop/data</value>
</property>
</configuration>

vim slaves
hbase-test001
hbase-test002

创建hadoop数据目录
mkdir -p /root/libin/data/hadoop/name
mkdir -p /root/libin/data/hadoop/data
mkdir -p /root/libin/data/hadoop/tmp

其他两台做相同配置


格式化hdfs，在master节点执行即可
bin/hdfs namenode -format

启动，在master节点执行即可
sbin/start-dfs.sh

验证hadoop安装是否正确
1、jps 主节点有NameNode、SecondaryNameNode进程存在，从节点有DataNode进程存在
[root@elasticsearch zookeeper-3.4.10]# jps
12978 QuorumPeerMain
8980 NameNode
9188 SecondaryNameNode
14075 Jps

2.访问HDFS的页面
http://114.67.233.239:50070

3.简单操作验证
创建目录
bin/hadoop fs -mkdir /input
上传文件
bin/hadoop fs -put LICENSE.txt /input
查看文件
bin/hadoop fs -ls /input
查看文件内容
bin/hadoop fs -cat /input/LICENSE.txt

##############################################################################################
安装hbase

wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz
tar zxvf hbase-1.3.1-bin.tar.gz
cd hbase-1.3.1
cd conf

vim hbase-env.sh
修改如下配置：
export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64
export HBASE_MANAGES_ZK=false

vim hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://elasticsearch:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>elasticsearch,hbase-test001,hbase-test002</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/root/libin/data/zk/data</value>
</property>
</configuration>

vim regionservers
hbase-test001
hbase-test002

其他两台做相同配置

启动hbase，在master节点执行即可
bin/start-hbase.sh

验证hbase安装是否正确
1、jps查看进程HMaster HRegionServer
[root@elasticsearch hadoop-2.6.5]# jps
12978 QuorumPeerMain
8980 NameNode
9188 SecondaryNameNode
9916 HMaster
15086 Jps

2.使用hbase shell简单操作
bin/hbase shell

查看状态
hbase(main):001:0> status
1 active master, 0 backup masters, 2 servers, 0 dead, 1.5000 average load

hbase(main):002:0>

创建表
hbase(main):002:0> create 'test1', 'cf'
0 row(s) in 1.2340 seconds

=> Hbase::Table - test1
hbase(main):003:0>

查看表
hbase(main):004:0> list 'test1'
TABLE 
test1 
1 row(s) in 0.0130 seconds

=> ["test1"]
hbase(main):005:0>


3.页面查看
http://114.67.233.239:16010