15 Hbase的理解

一、Hbase概念

1 HBase概述

HBase是一个构建在HDFS上的分布式列存储系统；
HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；
从逻辑上讲，HBase将数据按照表、行和列进行存储。
Hbase与HDFS对比
- 两者都具有良好的容错性和扩展性，都可以扩展到成百上千个节点；
- HDFS适合批处理场景,而Hbase适合
  - 不支持数据随机查找
  - 不适合增量数据处理
  - 不支持数据更新
Hbase表的特点
- 大：一个表可以有数十亿行，上百万列；
- 无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
- 面向列：面向列（族）的存储和权限控制，列（族）独立检索；
- 稀疏：对于空（null）的列，并不占用存储空间，表可以设计的非常稀疏；
- 数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；
- 数据类型单一：Hbase中的数据都是字符串，没有类型。
行存储与列存储

2 Hbase数据模型

HBase是基于Google BigTable模型开发的，典型的key/value系统；
Hbase逻辑视图
Rowkey与Column Family
Hbase基本概念
Hbase数据模型
Hbase支持的操作

3 HBase物理模型

4 HBase基本架构

HBase架构
Hbase基本组件
Zookeeper作用
Write-Ahead-Log（WAL）
HBase容错性
Region定位
ROOT-表与.META.表
HDFS与Hbase比较
关系数据库与Hbase比较

5 HBase应用举例

何时使用HBase
什么公司在使用HBase
Hbase在淘宝的应用
Hbase在facebook应用—消息系统

二、Hbase环境安装

1. 软件版本下载(注意需要ZK环境)

http://mirror.bit.edu.cn/apache/hbase/

2. 下载软件包

Master

wget http://archive.apache.org/dist/hbase/0.98.6/hbase-0.98.6-hadoop2-bin.tar.gz
tar zxvf hbase-0.98.6-hadoop2-bin.tar.gz

3. 修改Hbase配置

Master

cd hbase-0.98.6-hadoop2/conf
vim regionservers

master
slave1
slave2

vim hbase-env.sh

#JavaHome
export JAVA_HOME=/usr/local/src/jdk1.8.0_191
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
#是否使用自带的ZK
export HBASE_MANAGES_ZK=false

vim hbase-site.xml

<configuration>
     <property>
         <name>hbase.rootdir</name>
         <value>hdfs://master:9000/hbase</value>
     </property>
     <property>
         <name>hbase.cluster.distributed</name>
         <value>true</value>
     </property>
     <property>
         <name>hbase.zookeeper.quorum</name>
         <value>master,slave1,slave2</value>
     </property>
     <property>
         <name>hbase.master.maxclockskew</name>
         <value>150000</value>
     </property>
     <property>
         <name>dfs.replication</name>
         <value>2</value>
     </property>
 </configuration>

4. 增加环境变量

Master、Slave1、Slave2

vim ~/.bashrc

#Hbase
HBASE_HOME=/usr/local/src/hbase-0.98.6-hadoop2
HBASE_CLASSPATH=$HBASE_HOME/conf
HBASE_LOG_DIR=$HBASE_HOME/logs
PATH=$PATH:$HBASE_HOME/bin

刷新环境变量

source ~/.bashrc

5. 拷贝安装包

Master

scp -r /usr/local/src/hbase-0.98.6-hadoop2/ root@slave1:/usr/local/src/hbase-0.98.6-hadoop2/
scp -r /usr/local/src/hbase-0.98.6-hadoop2/ root@slave2:/usr/local/src/hbase-0.98.6-hadoop2/