Hbase 基本原理学习总结

  Hbase是bigtable的开源山寨版本,是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作),主要用来存储非结构化和半结构化的松散数据。

Hbase数据模型:
  • 列族
            Hbase表中的每个列,都归属与某个列族。列族是表的schema的一部分(而列不是),必须在使用表之前定义。列名都以列族作为前缀。例如courses:history , courses:math 都属于
courses 这个列族。列族中可以动态添加新的列。
  • 单元
            HBase中通过row和columns确定的为一个存贮单元称为cell
  • 时间戳
            每个单元都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由Hbase(在数据写入时自动 )赋值,此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突,就必须自己生成具有唯一性的时间戳。每个 cell中,不同版本的数据按照时间倒序排序
  • 为了节省空间应对稀疏的数据,列可以被赋空值来节省空间
  • Row Key
            与nosql数据库们一样,row key是用来检索记录的主键。访问Hbase table中的行,只有三种方式:
•   1, 通过单个row key访问
•   2, 通过row key的range
•   3, 全表扫描
            Row key行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在Hbase内部,row key保存为字节数组。存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分利用排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性)
 
Hbase vs RMDBS
 
HBase架构:
HBase 组件
 
  • Region
–  表中一部分数据组成的子集
–  当Region内的数据过多时能够自动分裂,过少时会合并
  •  Region Server
–  维护Master分配给它的region,处理对这些region的IO请求
–  负责切分在运行过程中变得过大的region
  •  Master
–  为Region server分配region
–  负责region server的负载均衡
–  发现失效的region server并重新分配其上的region
–  HDFS上的垃圾文件回收
  • Zookeeper
–  保证任何时候,集群中只有一个master
–  存贮所有Region的寻址入口。
–  实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master
–  存储Hbase的schema,包括有哪些table,每个table有哪些column family
–  处理Region和Master的失效
 
 
 
 





posted @ 2016-04-13 11:09  nwpulisz  阅读(747)  评论(0编辑  收藏  举报