摘要: 相信长时间运维HBase集群的童鞋肯定都会对RIT(Region-In-Transition,很多参考资料误解为Region-In-Transaction,需要注意)有一种咬牙切齿的痛恨感,一旦Region处于长时间的RIT就会有些不知所措,至少以前的我就是这样过来的。正所谓“恐惧来源于未知”,不知 阅读全文
posted @ 2019-04-05 20:31 Levyxu胖胖 阅读(685) 评论(0) 推荐(0) 编辑
摘要: 任何系统都会有各种各样的问题,有些是系统本身设计问题,有些却是使用姿势问题。HBase也一样,在真实生产线上大家或多或少都会遇到很多问题,有些是HBase还需要完善的,有些是我们确实对它了解太少。总结起来,大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大 阅读全文
posted @ 2019-04-05 20:29 Levyxu胖胖 阅读(264) 评论(0) 推荐(0) 编辑
摘要: 本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比,HBase写数据流程倒是显得很简单:数据先顺序写入HLog,再写入对应的缓存Memstore,当Memstore中数据大小达到一定阈值(128M)之后,系统会异步将Memstore中数据flush到HDFS形成小文件。 本 阅读全文
posted @ 2019-04-05 20:22 Levyxu胖胖 阅读(529) 评论(0) 推荐(0) 编辑
摘要: HBase的查询实现只提供两种方式:1、按指定RowKey获取唯一一条记录,get方法(org.apache.hadoop.hbase.client.Get) 2、按指定的条件获取一批记录,scan方法(org.apache.Hadoop.Hbase.client.Scan) 实现条件查询功能使用的 阅读全文
posted @ 2019-04-05 20:16 Levyxu胖胖 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 作者: 大圆那些事 | 文章可以转载,请以超链接形式标明文章原始出处和作者信息 网址: http://www.cnblogs.com/panfeng412/archive/2013/11/28/hbase-batch-put-performance-analysis-of-single-column 阅读全文
posted @ 2019-04-05 20:13 Levyxu胖胖 阅读(304) 评论(0) 推荐(0) 编辑
摘要: 背景:HBase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对HBase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,HBase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对HBase 阅读全文
posted @ 2019-04-05 20:10 Levyxu胖胖 阅读(822) 评论(0) 推荐(0) 编辑