随笔档案「2016年2月」 - rocky_24

摘要：来自为知笔记(Wiz) 阅读全文

posted @ 2016-02-29 13:32 rocky_24 阅读(595) 评论(0) 推荐(0)

摘要：淘宝在2011年之前所有的后端持久化存储基本上与我们所认知的意义，大量存于 mysql 。少量 oracle mongdb 等，使用mysql 的原因相信各位也很熟悉了。开源、社区庞大、解决方案多种、分库分表做超过超过 500W 数据的扩容、再到读写分离、再到专用图片服务器、再到专业后端缓存系统、二级缓存等等。但是由于业务的发展。产生了如下变化： 1 数据量越来越大，用户的激增从... 阅读全文

posted @ 2016-02-29 12:51 rocky_24 阅读(1052) 评论(0) 推荐(0)

四 HBase 客户端设置缓存优化查询。

摘要：其实查询无非是一个 HBase 的 RPC 计算公式、然后给API 提供值。RPCs = (Rows * Cols per Row) / Min(Cols per Row, Batch Size)/ Scanner Caching 。Hadoop的MR运算中，Hbase可以作为输入数据源参与运算，其中作为HTable的迭代器Scan有几个使用技巧涉及的方法如下：public void setBa... 阅读全文

posted @ 2016-02-24 14:39 rocky_24 阅读(2434) 评论(0) 推荐(0)

三 Client 如何找到正确的 Region Server

摘要：客户端在进行put、delete、get等操作的时候，它都需要数据到底存在哪个Region Server上面，这个定位的操作是通过Connection.locateRegion方法来完成的。loc = hConnection.locateRegion(this.tableName, row.getRow()); 这里我们首先要讲hbase的两张元数据表-ROOT-和.META. 表，它们一个保... 阅读全文

posted @ 2016-02-24 11:33 rocky_24 阅读(814) 评论(0) 推荐(0)

二 HTable 源码导读

摘要：户端调优的方法里面无非就这么几种:1)关闭autoFlush2)关闭WAL日志3)把writeBufferSize设大一点，一般说是设置成5MB 经过实践，就第二条关闭日志的效果比较明显，其它的效果都不明显，因为提交的过程是异步的，所以提交的时候占用的时间并不多，提交到server端后，server还有一个写入的队列，(⊙o⊙)… 让人想起小米手机那恶心的排队了。。。所以大规模写入数据... 阅读全文

posted @ 2016-02-24 11:03 rocky_24 阅读(300) 评论(0) 推荐(0)

一 Balancer regionCountCost 权重。

摘要：原文如下地址：http://www.cnblogs.com/cenyuhai/p/3650943.html看源码很久了，终于开始动手写博客了，为什么是先写负载均衡呢，因为一个室友入职新公司了，然后他们遇到这方面的问题，某些机器的硬盘使用明显比别的机器要多，每次用hadoop做完负载均衡，很快又变回来了。首先我们先看HMaster当中怎么初始化Balancer的，把集群的状态穿进去，设置maste... 阅读全文

posted @ 2016-02-24 10:44 rocky_24 阅读(374) 评论(0) 推荐(0)

rocky_24

愉快的编程，浪浪的写代码~

02 2016 档案

公告