随笔分类 -  HBase

NoSQL数据库HBase相关技术和应用
HBase中MVCC的实现机制及应用情况
摘要:MVCC(Multi-Version Concurrent Control),即多版本并发控制协议,广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应用情况。 阅读全文

posted @ 2014-08-12 12:44 大圆那些事 阅读(6761) 评论(0) 推荐(0) 编辑

HBase在单Column和多Column情况下批量Put的性能对比分析
摘要:针对HBase在单column family单column qualifier和单column family多column qualifier两种场景下,分别批量Put写入时的性能对比情况,下面是结合HBase的源码来简单分析解释这一现象。 阅读全文

posted @ 2013-11-28 17:42 大圆那些事 阅读(17166) 评论(2) 推荐(2) 编辑

集群应用及运维经验小结
摘要:以下是自己这1年多以来在集群应用与运维方面所做事情的梳理与总结,内容比较零散,大家姑且当做一篇非严格意义上的技术文章来阅读。 阅读全文

posted @ 2013-06-27 13:43 大圆那些事 阅读(10359) 评论(3) 推荐(1) 编辑

GZIP、LZO、Zippy/Snappy压缩算法应用场景小结
摘要:GZIP、LZO、Zippy/Snappy是常用的几种压缩算法,各自有其特点,因此适用的应用场景也不尽相同。这里结合相关工程实践的情况,做一次小结。 阅读全文

posted @ 2012-12-24 10:30 大圆那些事 阅读(54324) 评论(11) 推荐(2) 编辑

HBase Thrift 接口的一些使用问题及相关注意事项
摘要:HBase对于非Java语言提供了Thrift接口支持,这里结合对HBase Thrift接口(HBase版本为0.92.1)的使用经验,总结其中遇到的一些问题及其相关注意事项。 阅读全文

posted @ 2012-11-11 23:21 大圆那些事 阅读(12445) 评论(0) 推荐(1) 编辑

HBase集群出现NotServingRegionException问题的排查及解决方法
摘要:HBase集群在读写过程中,可能由于Region Split或Region Blance等导致Region的短暂下线,此时客户端与HBase集群进行RPC操作时会抛出NotServingRegionException异常,从而导致读写操作失败。这里根据实际项目经验,详细描述这一问题的发现及排查解决过程。 阅读全文

posted @ 2012-11-04 22:40 大圆那些事 阅读(30604) 评论(4) 推荐(2) 编辑

HBase解决Region Server Compact过程占用大量网络出口带宽的问题
摘要:HBase集群(版本为0.94.0)运行过程中,发现5台Region Server的网络出口带宽经常维持在100MB/s以上,接近到网卡的极限;同时Region Server的机器load负载也很高,高峰时候能够达到30~50。本文将详细描述该问题的发现及排查解决过程。 阅读全文

posted @ 2012-10-17 10:32 大圆那些事 阅读(8835) 评论(5) 推荐(0) 编辑

HBase如何合理设置客户端Write Buffer
摘要:HBase客户端API提供了Write Buffer的方式,即批量提交一批Put对象到HBase服务端。本文将结合HBase相关源码,对其进行深入介绍,分析如何在实际项目中合理设置和使用它。 阅读全文

posted @ 2012-10-16 22:17 大圆那些事 阅读(6625) 评论(4) 推荐(0) 编辑

HBase存储时间相关多列数据的两种方案
摘要:所谓“时间相关多列数据”指的是同一个Key下具有多个属性数据,并且这些数据与时间具有相关性,多数场景是该Key对应在不同时间时刻的行为数据。在实际应用中,这类数据很多,例如电子商务网站上用户最近一段时间浏览的宝贝集合、访问的URL列表等。使用HBase存储此类数据时,有以下两种常用的方案。 阅读全文

posted @ 2012-09-28 14:06 大圆那些事 阅读(12084) 评论(2) 推荐(2) 编辑

HBase的Block Cache实现机制分析
摘要:本文结合HBase 0.94.1版本源码,对HBase的Block Cache实现机制进行分析,总结学习其Cache设计的核心思想。 阅读全文

posted @ 2012-09-24 18:55 大圆那些事 阅读(14660) 评论(4) 推荐(0) 编辑

HBase常见问题答疑解惑【持续更新中】
摘要:本文对HBase开发及使用过程中遇到过的常见问题进行梳理总结,希望能解答新加入的HBaser们的一些疑惑。 阅读全文

posted @ 2012-09-08 11:51 大圆那些事 阅读(7959) 评论(3) 推荐(1) 编辑

HBase Thrift接口C++客户端
摘要:hbase-thrift项目是对HBase Thrift接口的封装,屏蔽底层的细节,使用户可以方便地通过HBase Thrift接口访问HBase集群,同时基于此对C++客户端读写的效率进行了简单的测试。该项目目前基于的是HBase thrift接口,至于HBase 0.94版本中的HBase thrift2接口,后续再考虑进一步的支持。 阅读全文

posted @ 2012-08-28 13:08 大圆那些事 阅读(11487) 评论(0) 推荐(1) 编辑

GitHub项目Storm-HBase介绍
摘要:最近完成了一个GitHub项目:Storm-HBase,该项目是Twitter Storm和Apache HBase的结合,它使用HBase cluster作为Storm的Spout数据源,目前只是初步实现,后续会进一步完善。 阅读全文

posted @ 2012-08-06 12:29 大圆那些事 阅读(11585) 评论(7) 推荐(0) 编辑

HBase异常:hbase-default.xml file seems to be for and old version of HBase的解决方法
摘要:近期在使用HBase Java Client连接HBase服务端创建Configuration对象时,遇到了hbase-default.xml file seems to be for and old version of HBase的异常,经过查找资料及阅读HBase相关源码,对这类异常的解决方法做一下总结。 阅读全文

posted @ 2012-07-22 10:19 大圆那些事 阅读(9051) 评论(0) 推荐(0) 编辑

HTable和HTablePool使用注意事项
摘要:HTable和HTablePool都是HBase客户端API的一部分,可以使用它们对HBase表进行CRUD操作。下面结合在项目中的应用情况,对二者使用过程中的注意事项做一下概括总结。 阅读全文

posted @ 2012-07-11 16:40 大圆那些事 阅读(20739) 评论(4) 推荐(2) 编辑

HBase性能优化方法总结(四):数据计算
摘要:本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第四部分内容:数据计算相关的优化方法。 阅读全文

posted @ 2012-03-08 15:28 大圆那些事 阅读(8752) 评论(3) 推荐(1) 编辑

HBase性能优化方法总结(三):读表操作
摘要:本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第三部分内容:读表操作相关的优化方法。 阅读全文

posted @ 2012-03-08 15:22 大圆那些事 阅读(31382) 评论(1) 推荐(2) 编辑

HBase性能优化方法总结(二):写表操作
摘要:本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第二部分内容:写表操作相关的优化方法。 阅读全文

posted @ 2012-03-08 15:14 大圆那些事 阅读(21239) 评论(4) 推荐(4) 编辑

HBase性能优化方法总结(一):表的设计
摘要:本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容:表的设计相关的优化方法。 阅读全文

posted @ 2012-03-08 15:06 大圆那些事 阅读(24134) 评论(2) 推荐(3) 编辑

分布式文件系统KFS源码阅读与分析(四):RPC实现机制(KfsClient端)
摘要:上一篇博客介绍了KFS中RPC实现机制MetaServer端的实现,下面接着介绍一下KfsClient端的实现框架。 阅读全文

posted @ 2011-12-24 23:35 大圆那些事 阅读(2485) 评论(1) 推荐(1) 编辑

导航