摘要:
一 ZooKeeper简介 (Znode 表示 ZooKeeper 节点) Zookeeper 是一个为分布式应用所涉及的开源协调服务。它可以为用户提供同步、配置管理、分组和命名等服务。用户通过使用 ZooKeeper 提供的接口方便地实现一致性、组管理、leader 选举及某些... 阅读全文
摘要:
HBase 由 Java 语言实现,同时他也是最主要最高效的客户端。 相关的类在org.apache.hadoop.hbase.client 包中。涵盖所有 增删改查 API 。 主要的类包含: HTable、HBaseAdmin、Put、Get、Scan、Increment 和 Delete ... 阅读全文
摘要:
简单来讲,rowkey就是 KeyValue 中的key rowkey设计之尽量散列设计 RowKey 如第三部分第六中讲到,如果数据都是有序的存储到一个特定的范围内,将会存储在一个有特定起始键和停止键的 region 中。 由于一个 region 只能由一个服务器管理, 所以所有的更新都会几种... 阅读全文
摘要:
表结构设计之高表与宽表选择 HBase 中的表可以设计为高表(tall-narrow table) 和 宽表(flat-wide table)。 高表 : 列少而行多。 宽表 : 行少而列多。 根据之前介绍的 KeyValue 信息的筛选粒度信息,用户应当尽量将需要查询的维度或信息存储在行键... 阅读全文
摘要:
模式创建 常用创建模式 用户ID + 时间倒序 +。。。 UUID SHA1 MD5等方式 列族:列限定符 A B 两个列族差距大时, 小列族因为分裂很多Region 导致 扫描效率降低。 数据在HBase中如何纠结 啪啦啪啦的走啊走啊 最后变成数据小jb图看了3分钟才明白。。左上:逻... 阅读全文
摘要:
数据模型特殊属性 Rowkey、Column(列族和列)、Version 组合在一起称为 HBase 中的一个单元格。有可能会有很多单元格的 行和列 是相同的,要区分不同的单元格可以使用版本。 如果有多个版本的写操作同时发起,HBase 都会保存 可以发起包含版本的写操作Delete 内部删除... 阅读全文
摘要:
数据模型的操作 HBase 对数据模型的 4 个主要操作包括 Get、Put、Scan 和 Delete。 通过 HTbale 实例进行操作。 HBase 所有修改数据的操作都保证行级别的原子性。要么读到最新的数据,要么等待系统允许写入改行的修改。 1 Get HTable 类中提供了 get(... 阅读全文
摘要:
1 逻辑模型HBase 中最基本的单位是列,一列或者多列构成了行,行有行键(Rowkey),并且是唯一的。HBase 中的一个表有若干行,每行有很多列,列中的值有多个版本,每个版本的值称为一个单元格,每个单元存储的是不同时刻该列的值。HBase 可以理解为 Map 这种结构的无限嵌套版本。2 物理模... 阅读全文
摘要:
Hadoop 框架包含两个核心组件:HDFS 和 MapReduce 其中 HDFS 是文件存储系统,负责数据存储; MapReduce 是计算框架,负责数据计算Hbase 数据库核心组件4个。 客户端Client、协调服务模块ZooKeeper、 主节点HMaster 和 Region节点 ... 阅读全文
摘要:
HBase中表的特点大: 一个表可以由百亿行,上百万列(列多时,插入变慢)面向列:面向列(族)的存储和权限控制,列(族)独立检索稀疏:对于为空(null) 的列,并不占用存储空间,因此表可以设计的非常稀疏。多版本:每个Cell中的数据可以由多个版本,默认情况下版本号自动分配为时间戳。类型唯一:HBa... 阅读全文