《OD学HBase》20160814

一、HBase引入

http://hbase.apache.org/

大数据的数据库

1. 概述

Hadoop生态系统中的一个分布式、可拓展、面向列、可伸缩，具有自动容错功能的数据库。

NoSQL数据库

BigTable：一种分布式海量结构化数据存储系统

HBase基于google论文实现的开源数据库框架

场景： 对海量数据进行随机读写、实时查询（对上亿条数据能够在秒级进行访问）

表：上亿行百万列 ———TB级别甚至PB级别

设备：廉价的商用服务器

HBase：真正存储数据还是在HDFS，数据分析处理还是依赖于MapReduce

 

2. 搭建HBase

1）hbase-env.sh

2）hbase-site.xml

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>

3）regionservers

指定hbase数据存储节点regionserver的主机名

4）backup-masters：指定master节点的备份节点

5）启动

bin/start-hbase.sh

6）检测

bin/start-hbase.sh

HMaster进程

HRegionServer继承

webui 端口：60010

http://beifeng-hadoop-02:60010

8）hbase shell 交互式命令

bin/hbase shell

 

list：查看HBase中的所有表

create 'test', 'cf'：创建一张hbase表，名称test，表的列簇为'cf'

put 'test', 'rowkey001', 'cf:name','zhangshan'：往test表插入一条数据，行健rowkey为rowkey001，列簇(column family)、列标签(column qualifier），值为'zhanshan'

scan 'test' ： 扫描表数据

回退使用ctrl + delete回退

rowkey:    

column=列主键=列簇column family   列标签column qualifier timestarp value

exit退出

 

3. 整合Hue

通过HBase Thrift servers

问题：无法联系到 HBase Thrift 1 服务器：Could not connect to beifeng-hadoop-02:9090

解决方法：在HBASE上启动thrift服务

 

启动：bin/hbase-daemon.sh start thrift

 

二、HBase的表

Table 逻辑模型：

rowkey 行键 --> 类似于RDBMS的主键，唯一标识一行记录

根据rowkey进行排序

列簇column family： 创建HBASE表的时候要预先指定，类似于schema的概念

cf1、cf2、cf3、cf4

列标签： column qualifier

列标签可随意添加，真实使用的时候，根据具体业务来定义，由业务来进行约束。

列标签在不同行的同一个列簇下是可以不相同的。

timestamp：时间戳，单元格的版本号

单元格： {table、rowkey、column family、column qualifier、timestamp}  --> value

hbase的Update：并不是真正意义上对原来的数据进行修改，仅仅只是做了新增操作，只是新增了一个单元格，与原来的单元格仅仅只是时间戳和value不同。

describe 'test'   ---> 查看hbase表的详细信息

版本：

create 'test01', {NAME => 'cf1', VERSIONS => '3', MIN_VERSIONS => '2' }

scan 'test01', {VERSIONS => 2}

 

table

rowkey

column family

column qualifier

 

并发：假如数据都是不可变的

并发编程：将所有对象不可变

 

Table物理模型：

HBase组件：

1）HMaster：

（1）主节点

（2）为Region Server分配Region

（3）发现失效的Region Server并重新分配其上的region

（4）管理用户对HBASE表的增删改查操作

（5）数据不经过Master

2）Regionserver：

（1）HBase表的分区

（2）按照行 rowkey将表数据进行划分，每划分出来的部分称为region，HBASE负载均衡的最小单元。

默认情况下，表创建时只有一个Region，而且Region空间大小默认是256M。

随着数据的增加，Region会自动切分，均分成两个Region。

（3）负责region，处理对这些region的IO请求

3）Zookeeper

（1）通过选举，保证任何时候，急群众只有一个master，Master与Region Servers启动时会向Zookeeper注册

（2）存储Region的寻址入口：

Zookeeper上面存储hbase:meta这张表有哪些region，这些region在哪些RegionServer上面，Region包含哪些rowkey

zk上   /hbase/meta-region-server

（3）表由哪些Region，这些Region在哪些RegionServers上，Region包含哪些rowkey（起始rowkey，截止rowkey）

这些信息，HBASE有张默认的系统表

hbase:meta 元数据表，记录以上描述的信息。和普通表是一样的

（4）实时监控Region server的上线和下线信息，并实时通知给Master

 

 

client -> zookeeper

（1）从/hbase/meta-region-server节点获取关于hbase:meta表的信息,hbase:meta这张表有哪些region，这些region分布在哪些RegionServer上，每个Region包含哪些rowkey

（2）从获取到RegionServer信息，直接连接到该RegionServer上，hbase:meta表数据，获取到test表相关信息

（3）从test表获取真正数据

 

Zookeeper上面

ls /hbase/

meta-region-server：

backup-masters： 存储的是backup master信息

table：存储的是HBASE上表信息

draining：表示哪些RegionServer下线了

region-in-transition： 事务

table-lock：锁信息，只有行锁

running：

master：master节点的状态信息

namespace：表的命名空间

hbaseid：

online-snapshot：

replication：

splitWAL：

recovering-regions：

rs：RegionServers

hbase表都属于某个namespace，默认default

系统namespace：hbase

 

create 'test02', 'cf1', '', SPLITS => ['10', '20', '30' , '40' ]

表名，region起始rowkey，时间戳，md5编码

 

Region内部结构：

Region根据表的Column Family列簇划分Store， 

Store： MemStore，StoreFile

 

put 'test02', '25', 'cf1:name', 'value222'

1）访问zookeeper获取hbase:meta表的位置信息

2）访问hbase:meta表的数据，获取到test02的位置信息

3）访问test02表

（1）根据rowkey找到对应的region

（2）根据cf1列簇名称找到Region中Store

（3）插入到Store李米娜MemStore

（4）MemStore达到最大空间值，刷写到磁盘生成一个StoreFile（本质就是HFile）。

滚动刷写：当MemStore空间满后，HBASE另外分配一块MemStore来接收数据，而原来的不再接收新数据，只是在进行持久化到磁盘的操作。

MemStore：一块内存空间，默认128M。

StoreFile：物理是上DataNode上的一个block

 

Region的容错：

Region的数据本质是HDFS上的文件，（备份），所有Region上的数据其实是由备份的。

只要Region的信息还在，Region就可以在其他RegionServer上重生。

当正在往memstore写数据时，RegionServer挂掉；数据丢失。

WAL机制： Write Ahead Log

HLog： 本质也是一个HDFS文件。当memstore将数据刷写到磁盘上生成storefile后，对应的数据也会从HLog上删掉。

hbase往memstore写数据，写到HLog（顺序写），再往memstore上写。

http://www.cnblogs.com/frydsh/archive/2013/04/13/3018666.html

HLog日志文件，HLog始终是与MemStore中的数据一致，

hdfs block是一个逻辑概念

LSM算法：http://www.cnblogs.com/yanghuahui/p/3483754.html

 

三、HDFS上的HBASE

/hbase 

/WALS  --->HLog文件存储路径

/data  ---> HBASE表数据存储路径

/oldWALS ---> 当MemStore将数据刷写到磁盘生成StoreFile时，HLog会将对应的这部分数据移到oldWALs中，后面再进行删除。

 

HBase获取不到zookeeper上的master信息问题：

http://blog.csdn.net/zwx19921215/article/details/41824751

 

四、HBase表的特性

 

五、HBase shell

JRuby实现：

help

命令组：

COMMAND GROUPS:
Group name: general
Commands: status, table_help, version, whoami

Group name: ddl
Commands: alter, alter_async, alter_status, create, describe, disable, disable_all, drop, drop_all, enable, enable_all, exists, get_table, is_disabled, is_enabled, list, show_filters

删除表：disable 'test02'，drop 'test02'

 

Group name: namespace
Commands: alter_namespace, create_namespace, describe_namespace, drop_namespace, list_namespace, list_namespace_tables

创建namespace：create_namespace 'ns1'

查看namespace：list_namespace

Group name: dml
Commands: append, count, delete, deleteall, get, get_counter, incr, put, scan, truncate, truncate_preserve

scan 'test01'

get 'test01','rowkey001'

get 'test01','rowkey005', 'cf:name'

get 'test01','rowkey005', 'cf' 

Group name: tools
Commands: assign, balance_switch, balancer, catalogjanitor_enabled, catalogjanitor_run, catalogjanitor_switch, close_region, compact, flush, hlog_roll, major_compact, merge_region, move, split, trace, unassign, zk_dump

create 'test03','cf1'

put 'test03','rowkey001','cf1:name','zhangsan'

put 'test03','rowkey001','cf1:sex,'M'

flush 'test03'  刷写memstore数据到storefile

Group name: replication
Commands: add_peer, disable_peer, enable_peer, list_peers, list_replicated_tables, remove_peer, set_peer_tableCFs, show_peer_tableCFs

Group name: snapshots
Commands: clone_snapshot, delete_snapshot, list_snapshots, rename_snapshot, restore_snapshot, snapshot

Group name: quotas
Commands: list_quotas, set_quota

Group name: security
Commands: grant, revoke, user_permission

Group name: visibility labels
Commands: add_labels, clear_auths, get_auths, set_auths, set_visibility

 

六、JavaAPI

http://mvnrepository.com/

HBase支持SNAPPY压缩：

1）需要将hadoop lib native里面的文件copy到hbase解压安装下lib目录

cp -r $HADOOP_HOME/lib/native $HBASE/lib/

2）在hbase-env.sh添加属性

LD_LIBRARY_PATH = 

可以从hadoop-env.sh中拷贝过来

3）将native下的.so文件拷贝的jdk的jre目录中

cp native/*.so  /jdk/jre/lib/

4）重启hbase

5）检验是否支持snappy

bin/hbase ...CompressionTest ~/mkdir SNAPPY

6）创建表的时候指定SNAPPY压缩

create 'test-snappy', {NAME=>'cf1', COMPRESSION => 'SNAPPY'}

 

shell命令要点

属性{'key' => 'value'}，如果key为hbase的常量，则不用引号

使用脚本形式执行HBASE shell命令

echo 'list' | bin/hbase shell