文章分类 - HBASE
摘要：产生的原因：前段时间由于设置region server 的heapsize 为16g，使得block cache 的大小变为16g*0.4=3.2g,查看日志发现了jvm 隔一段时间会出现如下日志： 1 2 3 4 5 6 7 1 2 3 4 5 6 7 由此可以断定block cache 发生了C
阅读全文
摘要：介绍BucketCache前，先对HBase的Cache做个介绍： 一.HBase在读取时，会以Block为单位进行cache，用来提升读的性能； 二.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、Ind
阅读全文
摘要：线上HBase集群应该如何进行参数配置？这其实是很多HBase初学者在实践环节都可能会遇到的问题，有些人会选择默认配置，有些人会选择其他公司的推荐配置；诚然，这样的参数配置在大多数情况下都能正常工作，但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实践经验，针对不同应用场景，对多种工作模式下
阅读全文
摘要：转自：http://www.cnblogs.com/shitouer/archive/2013/02/05/configuring-hbase-memstore-what-you-should-know.html 转自：http://www.cnblogs.com/shitouer/archive/
阅读全文
摘要：最近在线上往Hbase导数据，因为hbase写入能力比较强，没有太在意写的问题。让业务方进行历史数据的导入操作，中间发现一个问题，写入速度太快，并且业务数据集中到其中一个region，这个region无法split掉，处于不可用状态。这里描述一整个过程—— 事情的起因：业务方按照userid和商品i
阅读全文
摘要：版权声明：本文为博主原创文章，未经博主允许不得转载。同步更新于http://aperise.iteye.com/ 版权声明：本文为博主原创文章，未经博主允许不得转载。同步更新于http://aperise.iteye.com/ 转：http://blog.csdn.net/zilong_zilong
阅读全文
摘要：1 配置 1.1 开发环境： HBase：hbase-1.0.0-cdh5.4.5.tar.gz Hadoop：hadoop-2.6.0-cdh5.4.5.tar.gz ZooKeeper：zookeeper-3.4.5-cdh5.4.5.tar.gz Spark：spark-2.1.0-bin-h
阅读全文
摘要：转载于http://blog.csdn.net/chenpingbupt http://www.wuzesheng.com/?p=2475 1、概述 在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称
阅读全文
摘要：布隆过滤器原理： 布隆过滤器需要的是一个位数组和k个映射函数（和Hash表类似），在初始状态时，对于长度为m的位数组array，它的所有位都被置为0，如下图： 对于有n个元素的集合S={s1,s2......sn}，通过k个映射函数{f1,f2,......fk}，将集合S中的每个元素sj(1<=j
阅读全文
摘要：首先要说明的rockmongo是一个很好的mongodb的查询工具，但是我却悲惨在这货手里！一不小心把生产环境的一个数据库给删除了！恶梦就此开始。。。。。。生产环境正常情况下数据大小有近900G但是用dump命令备份出来的文件大小只有近40G不到，现在就要用40G的数据使用mongorestore
阅读全文
摘要：任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大
阅读全文
摘要：转：http://www.cnblogs.com/yingjie2222/p/6084255.html 任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。
阅读全文
摘要：线上HBase集群应该如何进行参数配置?这其实是很多HBase初学者在实践环节都可能会遇到的问题，有些人会选择默认配置，有些人会选择其他公司的推荐配置;诚然，这样的参数配置在大多数情况下都能正常工作，但性能却未必最佳、资源未必都能被合理利用。本文结合笔者的实践经验，针对不同应用场景，对多种工作模式下
阅读全文
.jpg)
