07 2012 档案
hadoop loadBalance源码分析
摘要:项目hbase数据库出现很诡异的assignment ,region移动的src和dest都是同一台regionserver,不过时间戳不同,启动的只有一个regionserver, 不知道怎么出现了两个时间戳分析下源码解决一下loadbalance只有一个实现 org.apache.hadoop.hbase.master.DefaultLoadBalancer在HMaster中会启动一个线程org.apache.hadoop.hbase.Chore,按照设定的hbase.balancer.period(默认300000ms,五分钟),遍历所有表,根据每个表在regionserver中的reg
阅读全文
Hbase 源码分析之 Get 流程及rpc原理
摘要:分析版本为hbase 0.94附上趋势团队画的图:rpc角色表:HBase通信信道HBase的通信接口客户端服务端HBase ClientMaster ServerHMasterInterfaceHBase ClientRegion ServerHRegionInterfaceRegion ServerMaster ServerHMasterRegionInterface客户端发起请求:htable.get(Get)public Result get(final Get get) throws IOException {return new ServerCallable<Result&g
阅读全文
6月6 26岁生日迟记
摘要:去年的生日记 : http://user.qzone.qq.com/195514374/infocenter#!app=2&via=QZ.HashRefresh&pos=1307538684当天收到明日航空(我只坐过海南航空啊)祝福短信 本公司祝福短信 在日本的素未谋面的一个工大哥们儿人人网留言 吉元早上九点的微信留言我爸的生日祝福当天因为项目立项加班到11点,所以基本因工作毫无安排。25岁你要怎么样?有很多的朋友有很好的人脉。 done更职业化,对得起自己微薄的薪水 done攒够5w done体重到60kg,65更好,长不高就算了 58.5~60.0徘徊 done去没去过的一
阅读全文
hbase-filter使用
摘要:使用filter需要guava jar包The Guava project contains several of Google's core libraries that we rely on in our Java-based projects: collections, caching, primitives support, concurrency libraries, common annotations, string processing, I/O, and so forth.否则出错:java.lang.NoClassDefFoundError: com/google/
阅读全文
Hbase复杂操作的优化- Htable HtablePool
摘要:Htable主要提供表内的操作,put,delete,get,scan等操作HTablePool 可以建立池,存储HTableInterface接口的实现对象,一般是Htable,避免创建Htable的消耗。HTablePool 默认创建方式:new HTablePool(conf, poolSize);使用这种方式得到的Htable,无法设置autoflush,在速度要求高可以容忍数据丢失场景中,会降低3/4左右的速度。查看HTablePool创建方法发现,HTable由其内部参数HTableFactory创建,没有做任何设置因此新建类HTableBufferFactory implemen
阅读全文
浙公网安备 33010602011771号