Charlist

摘要： 1.概述 客户端往RegionServer端提交数据的时候，会写WAL日志，只有当WAL日志写成功以后，客户端才会被告诉提交数据成功，如果写WAL失败会告知客户端提交失败，换句话说这其实是一个数据落地的过程。在一个RegionServer上的所有的Region都共享一个HLog，一次数据的提交是先写WAL，再写memstore，示意图如下 2.HLog Class WAL的实现类是HLog，当一... 阅读全文

摘要： 1、介绍在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作，HBase全局管理员可以创建、修改和回收namespace的授权。2、namespaceHBase系统默认定义了两个缺省的namespacehbase：系统内建表，包... 阅读全文

摘要： 这个报错一般存在于独立安装Zookeeper集群中。报这个错的操作时这样的，先停掉了了HbaseformatZK后重启Hbase启动hbase shell 后HMaster挂掉，看log里就有这个报错TableExistsException: hbase:namespace这个时候需要输入zkCli.sh，把Zookeeper里的/hbase目录删除。 这个报错的意思有可能是指hbase的name... 阅读全文

摘要： 日常维护的命令 1，major_compact 'testtable'，通常生产环境会关闭自动major_compact(配置文件中hbase.hregion.majorcompaction设 为0)，选择一个晚上用户少的时间窗口手工major_compact，如果hbase更新不是太频繁，可以一个星期对所有表做一次 major_compact，这个可以在做完一次major_compact后... 阅读全文

摘要： HBase的数据备份或者容灾方案有这几种：Distcp，CopyTable，Export/Import，Snapshot，Replication，以下分别介绍（以下描述的内容均是基于0.94.20版本）。 一、Distcp 在使用distcp命令copy hdfs文件的方式实现备份时，需要禁用备份表确保copy时该表没有数据写入，对于在线服务的hbase集群，该方式不可用，而且在一些文章中可以... 阅读全文

摘要： hbase hbck新版本的 hbck 可以修复各种错误，修复选项是： （1）-fix，向下兼容用，被-fixAssignments替代 （2）-fixAssignments，用于修复region assignments错误 （3）-fixMeta，用于修复meta表的问题，前提是HDFS上面的region info信息有并且正确。 （4）-fixHdfsHoles，修复r... 阅读全文

摘要： 概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。Hbase表... 阅读全文

摘要： 0.进入hbase shell./hbase shell help help “get” #查看单独的某个命令的帮助1. 一般命令status 查看状态version 查看版本2.DDL（数据定义语言Data Definition Language）命令1. 创建表create ‘表名称’,’列名称1’，’列名称2’，’列名称3’ 如：create 'member','member_id','ad... 阅读全文

摘要： 1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动Jetty，... 阅读全文

摘要： 任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。 总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大。 Full GC问题的解决方案目前主要有两方面需要注意，一方面需要查看GC日志确认是哪种Ful... 阅读全文