随笔分类 - HBase
摘要：一. Phoenix的简介 1. 什么是phoenix 现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要说Phoenix。phoenix是一个在hbase上面实现的基于hadoop的OLTP技术，具有低延迟、事务性、可使用sql、提
阅读全文
摘要：一. 需求分析 1) 微博内容的浏览，数据库表设计 2) 用户社交体现：关注用户，取关用户 3) 拉取关注的人的微博内容 二. 代码实现 代码设计总览： 1.创建命名空间以及表名的定义 //获取配置 conf private Configuration conf = HBaseConfigurati
阅读全文
摘要：一. HBase的通用优化 1 高可用 在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如果 Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对
阅读全文
摘要：一 命名空间 1 命名空间的结构 1) Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定， 则在 default 默认的命名空间中。 2) RegionServer group：一个命名空间包含了默认的 RegionServer Group。 3) Permissio
阅读全文
摘要：一、协处理器简介 1、 起源 Hbase 作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执 行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase 中，统计数据表的总行数，需 要使用 Counter 方法，执行一次 MapReduce Job 才能得到。虽然 HB
阅读全文
摘要：一、过滤器（Filter） 基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的
阅读全文
摘要：一.数据的备份与恢复 1. 备份 停止 HBase 服务后，使用 distcp 命令运行 MapReduce 任务进行备份，将数据备份到另一个地方，可以是同一个集群，也可以是专用的备份集群。 即，把数据转移到当前集群的其他目录下（也可以不在同一个集群中）: 1. 备份 停止 HBase 服务后，使用
阅读全文
摘要：一、项目环境搭建 新建 Maven Project，新建项目后在 pom.xml 中添加依赖： 二、HBase API操作表和数据 注意，这部分的学习内容，我们先学习使用老版本的 API，接着再写出新版本的 API 调用方式。因为在企业中，有些时候我们需要一些过时的 API 来提供更好的兼容性。 1
阅读全文
摘要：一、进入HBase命令行 在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客 户端 说明，先看一下提示。其实是不是有一句很重要的话： 讲述了怎么获得帮助，怎么退出客户端 help 获取帮助 help：获取所有命令提示 help "dml" ：获取
阅读全文
摘要：一、系统架构 注意：应该是每一个 RegionServer 就只有一个 HLog，而不是一个 Region 有一个 HLog。 从HBase的架构图上可以看出，HBase中的组件包括Client、Zookeeper、HMaster、HRegionServer、HRegion、Store、MemSto
阅读全文
摘要：一、安装前提 1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的，安装需要依赖JDK 1、版本选择 打开官方的版本说明http://hbase.apac
阅读全文
摘要：一 HBase 的起源 HBase 的原型是 Google 的 BigTable 论文，受到了该论文思想的启发，目前作为 Hadoop 的子项目来开发维护，用于支持结构化的数据存储。 Apache HBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。 当您需要随机，实时读取/写入您
阅读全文
