Hbase 基本原理学习总结
Hbase是bigtable的开源山寨版本,是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作),主要用来存储非结构化和半结构化的松散数据。
![](https://images2015.cnblogs.com/blog/921208/201604/921208-20160413110912926-1505980093.png)
Hbase数据模型:
- 列族
courses 这个列族。列族中可以动态添加新的列。
- 单元
- 时间戳
- 为了节省空间应对稀疏的数据,列可以被赋空值来节省空间
- Row Key
• 1, 通过单个row key访问
• 2, 通过row key的range
• 3, 全表扫描
Row key行键 (Row key)可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在Hbase内部,row key保存为字节数组。存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分利用排序存储这个特性,将经常一起读取的行存储放到一起。(位置相关性)
Hbase vs RMDBS
![](https://images2015.cnblogs.com/blog/921208/201604/921208-20160413110913941-1046265322.png)
![](https://images2015.cnblogs.com/blog/921208/201604/921208-20160413110914488-1930598617.png)
HBase架构:
![](https://images2015.cnblogs.com/blog/921208/201604/921208-20160413110916051-991711470.png)
HBase 组件
- Region
– 表中一部分数据组成的子集
– 当Region内的数据过多时能够自动分裂,过少时会合并
- Region Server
– 维护Master分配给它的region,处理对这些region的IO请求
– 负责切分在运行过程中变得过大的region
- Master
– 为Region server分配region
– 负责region server的负载均衡
– 发现失效的region server并重新分配其上的region
– HDFS上的垃圾文件回收
- Zookeeper
– 保证任何时候,集群中只有一个master
– 存贮所有Region的寻址入口。
– 实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master
– 存储Hbase的schema,包括有哪些table,每个table有哪些column family
– 处理Region和Master的失效