摘要:
集成分析 HBase表中的数据最终都是存储在HDFS上,HBase天生的支持MR的操作,我们可以通过MR直接处理HBase表中的数据, 并且MR可以将处理后的结果直接存储到HBase表中。 参考地址:http://hbase.apache.org/book.html#mapreduce 1 实现方式 阅读全文
摘要:
HBase表热点 1 什么是热点 检索habse的记录首先要通过row key来定位数据行。 当大量的client访问hbase集群的一个或少数几个节点,造成少数region server的读/写请求过多、负载过大,而其他region server负载却很小,就造成了“热点”现象。 2 热点的解决方 阅读全文
摘要:
Region 分裂 1 region分裂说明 region中存储的是一张表的数据,当region中的数据条数过多的时候,会直接影响查询效率. 当region过大的时候,hbase会将region拆分为两个region , 这也是Hbase的一个优点. 2 Region分裂策略 2.1 Constan 阅读全文
摘要:
HBase表的预分区 当一个table刚被创建的时候,Hbase默认的分配一个region给table。也就是说这个时候,所有的读写请求都会访问到同一个regionServer的同一个region中,这个时候就达不到负载均衡的效果了,集群中的其他regionServer就可能会处于比较空闲的状态。 阅读全文