hadoop实战随笔_070818

ROOT表和META表

先看一下HBase的相关的机制是怎样的。之前我们说过HRegion是按照表名和主键范围来区分的，由于主键范围是连续的，所以一般用开始主键就可以表示相应的HRegion了。

不过，因为我们有合并和分割操作，如果正好在执行这些操作的过程中出现死机，那么就可能存在相同的“表名和开始主键”，这样的话只要开始主键就不够了，着就要通过HBase的元数据信息来区分哪一份才是正确的数据文件，为了区分这样的情况，每个HRegion都有一个‘regionId’来标识它的唯一性。

所以一个HRegion的表达符最后是：表名+开始主键+唯一ID（tablenem+startkey+regionId）。我们可以用这个识别符来区分不同的HRegion，这些数据就是元数据（META），而元数据本身也是被保存在HRegion里面的，所以我们称这个表为元数据表（META Table），里面保存的就是HRegion标识符和实际HRegion服务器的映射关系。

元数据表也会增长，并且可能被分割为几个HRegion，为了定位这些HRegion，我们采用了一个根数据表（ROOT table），它保存了所有元数据表的位置，而根数据表是不能被分割的，永远只存在一个HRegion。

在HBase启动的时候，主服务器先去扫描根数据表，因为这个表只会有一个HRegion，所以这个HRegion的名字是被写死的。当然要把根数据表分配到一个HRegion服务器中需要一定时间。

待根数据表被分配好之后，主服务器就会去扫描根数据表，获取元数据表的名字和位置，然后把元数据表分配到不同的HRegion服务器中。最后就是扫描元数据表，找到所有HRegion区域的信息，然后把它们分配给不同的HRegion服务器。

主服务器在内存中保存着当前活跃的HRegion服务器的数据，因此如果主服务器死机，整个系统也就无法访问了，这时服务器的信息也就没有必要保存到文件里面了。

元数据表和根数据表的每一行都包含一个列族（info列族）：

info:regioninfo：包含了一个串行化的HRegionInfo对象

info:server：保存了一个字符串，是服务器的地址HServerAddress.toString()。

info:startcode：是一个长整型数字的字符串，它是在HRegion服务器启动的时候传给主服务器的，让主服务器确定这个HRegion服务器的信息有没有更改。

因此，一个客户端在拿到根数据表地址后，就没有必要再链接主服务器了。主服务器的负载相对就小了很多，它只会处理超时的HRegion服务器，并在启动的时候扫描根数据表和元数据表，以及返回根数据表的HRegion服务器地址。

ROOT表包含META表所在的区域列表，META表包含所有的用户空间区域列表，以及Region服务器地址。客户端能够缓存所有已知的ROOT表和META表，从而提高访问的效率。

 

HBase数据模型

HBase是一个类似Bigtable的分布式数据库，它是一个稀疏的长期存储的（存在硬盘上）多维度的、排序的映射表。这张表的索引是行关键字、列关键字和时间戳。HBase中数据都是字符串，没有类型。

用户在表格中存储数据，每一行都有一个可排序的主键和任意多的列。由于是稀疏存储，所以同一张表里面的每一行数据都可以有截然不同的列。

列名字的格式是“<family>:<qualifier>”，都是由字符串组成的。每一张表有一个列族（family）集合，这个集合是固定不变的，只能通过改变表结构来改变。但是qualifier的值相对于每一行来说都是可以改变的。

HBase把同一个列族里面的数据存储在同一个目录底下，并且HBase的写操作是锁行的，每一行都是一个原子元素，都可以加锁。

HBase所有数据库的更新都有一个时间戳标记，每个更新都是一个新的版本，HBase会保留一定数量的版本，这个值是可以设定的。客户端可以选择获取距离某个时间点最近的版本单元的值，或者一次获取所有版本单元的值。

概念视图

我们可以将一个表想象成一个大的映射关系，通过行键、行键+时间戳或行键+列（列族：列修饰符），就可以定位特定数据。由于HBase是稀疏存储的数据的，所以某些列可以空白的，

物理视图

虽然从概念视图来看每个表格是由很多行组成的，但是在物理存储上面，它是按照列来保存的，这点在进行数据设计和程序开发的时候必须牢记。

需要注意的是，在概念视图上面有些列是空白的，这样的列实际上并不会被存储，当请求这些空白的单元格时，会返回null值。

如果在查询的时候不提供时间戳，那么会返回距离现在最近的那一个版本的数据，因为在存储的时候，数据会按照时间戳来排序。

HBase与RDBMS

HBase就是一个基于列模式的映射数据库，它只能表示和简单的键-数据的映射关系，这大大简化了传统的关系数据库。与关系数据库相比，它有如下特点：

数据类型：HBase只有简单的字符串类型，所有的类型都是交由用户自己处理的，它只保存字符串。而关系型数据库有丰富的类型选择和存储方式。

数据操作：HBase操作只有很简单的插入、查询、删除、清空等操作，表和表之间是分离的，没有复杂的表和表之间的关系，所以不能也没有必要实现表和表之间的关联等。传统的关系数据库是基于表格结构和行模式保护的。

数据维护：确切说，HBase的更新操作应该不叫更新，虽然一个主键或列会对应新的版本，但它的旧版本仍然会保留，所以它实际上是插入了新数据，而不是传统关系数据库里面的替换修改。

可伸缩性：HBase这类分布式数据库就是为了这个目的而开发出来的，所以它能够轻易地增加或减少（在硬件错误的时候）硬件数量，并且对错误的兼容性比较高。而传统的关系型数据库通常需要增加中间层才能实现类似的功能。