Smart_Data

导航

 

1、Hbase的数据存储在存储文件(store file)中,称为Hfile。

2、Hfile中存储的是经过排序的键值映射结构。文件内部由连续的块组成,块的索引信息存储在文件的尾部。

3、打开Hfile并加载到内存中时,索引的信息会优先加载到内存中,每个块的默认大小是64kb,可根据其需求配置不同的块大小。

4、每一个Hfile都有一个块索引,通过一个磁盘查找可以实现查询。

5、Hfile通常保存在分布式文件系统(Hadoop HDFS)中,HDFS提供了一个可扩展的、持久的、冗余的Hbase存储层。

6、每次更新数据时,都会先将数据记录在提交日志中,在Hbase中叫做“预写日志”,然后才会将这些数据写入内存中的memstore中。

7、Hbase有Regionserver的内存:menmstore用于写;blockcache用于读取数据。

8、一旦内存保存的写入数据的累计大小超过一个给定的最大值,系统就会将这些数据移出内存作为Hfile文件刷写到磁盘。数据移除内存之后,系统会丢弃对应的系统日志,只保留未持久化到磁盘中的提交日志。持久化到磁盘中的Hfile是按照行键顺序排序的,所以没必要执行排序或者其他特殊处理。

9、Hfile是不可改变的,所以没有办法通过移除某个键值对来简单的删除值。但可以通过做“删除标记”(墓被标记)来表明给定的行已经被删除的事实。删除标记掩盖了实际值,用户读取不到被做了删除标记的值。

10、读回的数据是两部分数据合并的结果,一部分是memstore中还没写入到磁盘中的数据,;另一部分是磁盘上的存储文件。

11、数据检索时用不到预写日志系统(WAL)。

12、内存中的数据在服务器崩溃前没有写到磁盘,而后进行恢复数据时才会用到WAL。

13、随着越来越多的Hfile文件的产生,Hbase的机制管家会将多个小的Hfile合并成一个大的Hfile。合并有两种类型,合并类型:
minor合并(将多个小文件合并成一个大文件)
major合并(将一个region中一个列族的若干个Hfile重写为一个新的Hfile,major合并会扫描所有的键值对,顺序的重写全部的数据,重写数据的过程会忽略做了删除标记的数据)

14、Hbase三组件:
客户端库
一台主服务器
多台region服务器
可动态的增删region服务器,主服务器主要负责利用zookeeper为region服务器分配region

15、zookeeper是一个可靠的、高可用的、持久的分布式协调系统。zookeeper提供了类似文件系统一样的访问目录和文件的功能,通常分布式系统利用他协调所有权、注册服务、监听更新————每台region服务器在zookeeper中注册了一个自己的临时节点,主服务器会利用这些临时节点来发现可用服务器,还可以利用临时节点来跟踪机器故障和网络分区。在zookeeper中,每个临时节点都相当于一个会话,这个会话是客户端连接zookeeper自动生成的。且每个会话有一个唯一的id,客户端会以此id不断地向zookeeper发送请求,一旦发生故障zookeeper客户端进程死掉,zookeeper会判断该会话超时,并自动删除属于它的临时节点。

16、Hbase可利用zookeeper确保只要一个主服务器在运行,zookeeper作为一个region服务器的注册表,zookeeper是一个关键的组成部分,没有zookeeper,Hbase无法运行。

 

 

17、列式存储结构允许表在实际存储时不存储NULL值,因此表可以看作是一个无限的、稀疏的表。表中的每一行数据只由一台服务器所服务。hbase具有强一致性,多版本可以避免因并发解耦过程引起的编辑冲突,而且还可以保留这一行的历史变化。

posted on 2018-01-25 13:22  Smart_Data  阅读(179)  评论(0编辑  收藏  举报