摘要: 其实查询无非是一个 HBase 的 RPC 计算公式 、然后给API 提供值。RPCs = (Rows * Cols per Row) / Min(Cols per Row, Batch Size)/ Scanner Caching 。Hadoop的MR运算中,Hbase可以作为输入数据源参与运算,其中作为HTable的迭代器Scan有几个使用技巧涉及的方法如下:public void setBa... 阅读全文
posted @ 2016-02-24 14:39 rocky_24 阅读(2412) 评论(0) 推荐(0) 编辑
摘要: 客户端在进行put、delete、get等操作的时候,它都需要数据到底存在哪个Region Server上面,这个定位的操作是通过Connection.locateRegion方法来完成的。loc = hConnection.locateRegion(this.tableName, row.getRow()); 这里我们首先要讲hbase的两张元数据 表-ROOT-和.META. 表,它们一个保... 阅读全文
posted @ 2016-02-24 11:33 rocky_24 阅读(786) 评论(0) 推荐(0) 编辑
摘要: 户端调优的方法里面无非就这么几种:1)关闭autoFlush2)关闭WAL日志3)把writeBufferSize设大一点,一般说是设置成5MB 经过实践,就第二条关闭日志的效果比较明显,其它的效果都不明显,因为提交的过程是异步的,所以提交的时候占用的时间并不多,提交到server端后,server还有一个写入的队列,(⊙o⊙)… 让人想起小米手机那恶心的排队了。。。所以大规模写入数据... 阅读全文
posted @ 2016-02-24 11:03 rocky_24 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 原文如下地址 :http://www.cnblogs.com/cenyuhai/p/3650943.html看源码很久了,终于开始动手写博客了,为什么是先写负载均衡呢,因为一个室友入职新公司了,然后他们遇到这方面的问题,某些机器的硬盘使用明显比别的机器要多,每次用hadoop做完负载均衡,很快又变回来了。首先我们先看HMaster当中怎么初始化Balancer的,把集群的状态穿进去,设置maste... 阅读全文
posted @ 2016-02-24 10:44 rocky_24 阅读(359) 评论(0) 推荐(0) 编辑
希望祖国繁荣,富强! God has given me a gift. Only one. I am the most complete fighter in the world. My whole life, I have trained. I must prove I am worthy of someting. rocky_24