随笔分类 - Hadoop HBase概念学习系列
摘要：Hbase与RDBMS的区别在于：HBase的Cell（每条数据记录中的数据项）是具有版本描述的（versioned），行是有序的，列（qualifier）在所属列簇（Column families）存在的情况下，由客户端自由添加。以下的几个因素是Hbase Schema设计需要考虑的问题： 1、
阅读全文
摘要：虽然，从HBase的概念视图来看，每个表格是由很多行组成的，但是在物理存储上面，它是按照列来保存的，这一点在进行数据设计和程序开发的时候必须牢记。 在物理存储上面，它是按照列来保存的 需要注意的是，在概念视图上面有些列是空白的，这样的列实际上并不会被存储，当请求这些空白的单元格时，会返回null值。
阅读全文
摘要：其实啊，我们把HBase想象成一个大的映射关系，再者，本来，HBase存储的数据可以理解为一种key和value的映射关系，但有不是简简单单的映射关系那种，因为比如有各个时间戳版本啊。 通过行键、行键+时间戳或行键+列（列簇：列修饰符），就可以定位特定是数据。 HBase是稀疏存储数据的，因此某些列
阅读全文
摘要：HBase是一个类似BigTable的分布式数据库， 它是一个稀疏的长期存储的（存在硬盘上）、多维度的、排序的映射表。这张表（HBase）的索引是行关键字、列关键字和时间戳。 HBase中的数据都是字符串，没有类型。 用户在表格中存储数据，每一行都有一个可排序的主键和任意多的列。由于HBase是稀疏
阅读全文
摘要：在 HBase里的HRegion 里，谈过，HRegion是按照表名+开始/结束主键，即表名+主键范围来区分的。由于主键范围是连续的，所以一般用开始主键就可以表示相应的HRegion了。 不过，因为我们有合并和分隔操作，此时，如果正好在执行这些操作的过程中出现死机，那么就可能存在多份表名和开始主键相
阅读全文
摘要：首先，要区分，HRegion服务器包含两大部分：HLog部分和HRegion部分 HBase里的HRegion服务器 HBase里的HRegion 当表的大小超过设置值的时候，HBase会自动将表划分为不同的区域，每个区域包含所有行的一个子集。对用户来说，每个表是一堆数据的集合，每个表靠主键来区分。
阅读全文
摘要：每台HRegion服务器都会和HMaster服务器通信，HMaster的主要任务就是告诉每个HRegion服务器它要维护哪些HRegion。 当一台新的HRegion服务器登录到HMaster服务器时，HMaster会告诉它先等待分配数据。 而当一台HRegion死机时，HMaster会把它负责的H
阅读全文
摘要：所有的数据库数据一般是保存在Hadoop分布式系统上面的，用户通过一系列HRegion服务器获取这些数据。一台机器上一般只运行一个HRegion服务器，而且每一分区段的HRegion也只会被一个HRegion服务器维护。 HRegion服务器包含两大部分：HLog部分和HRegion部分。 HReg
阅读全文
摘要：首先，明确，HRegion服务器包含两大部分：HLog和HRegion。 HLog用来存储数据日志，采用的是先写日志的方式。 当用户需要更新数据的时候，数据会被分配到对应的HRegion服务器上提交修改。数据首先被提交到HLog文件里面，在操作写入HLog之后，commit()调用才会将其返回给客户
阅读全文