HBase oceanbase的使用（2012.02.22学习）

学习 http://www.ningoo.net/html/tag/oceanbase 

1.  HBase 消除了磁盘的随机写，代价是将最新的数据保存到了内存表中，对内存的要求比较大，而内存表的数量多后，在每个内存表还较小的时候刷到磁盘，会导致磁盘文件多而且小。范围读取数据的时候就会跨多个数据文件甚至多个节点。为提高读取的性能，系统采取了 compaction操作，二为了防止某些情况下数据文件过大，hbase还设计了split操作

2.   关于hbase 的regionserver宕机超过一定时间后，hmaster会将其所管理的region重新分布到其他的regionserver，二由于数据和日志都持久化在HDFS中，该操作不会导致数据的丢失，但是从新分布的region需要根据日志回复原regionserver中的内存表，这回导致宕机的region在这段时间无法对外提供服务宕机的节点起来后就相当于一个新的regionserver加入了该集群，为了平衡，需要再次将某些region分布到该regionserver中，所以这个超时应该根据情况进行调整

 

内存表memstore如何在节点之间做到更高的可用性，是hbase的一个挑战，oceanbase使用的是集中的updateserver，只需要做到updateserver的容灾，对业务的连续性影响较小

3.  线上运维的挑战：heap的内存管理，gc的不同方式，以及使用内存表以及cache对内存的消耗，可能导致局部阻塞应用或者全局阻塞或者 out of mem。

 

http://hbase.apache.org/book.html#start_hbase  hbase 官方指南

 

http://cloudera.iteye.com/blog/952743  

linux的5个查找命令

find -name -type 'my*'    

find . -type f -mmin -10   搜索当前目录中，所有过去10分钟更新过的普通文件

locate 命令  搜索的是一个数据库/var/lib/locatedb，这个数据库包含的是所有的文件信息，linux自动创建这个数据库并且每天自动更新一次。。  locate /etc/sh 搜索/etc/下的以sh开头的文件

locate -i 忽略大小写

whereis 搜索的是程序名，而且只能是2进制-b或者-m（说明文档）,-s（源代码文件）。

which 在变量path中指定的路径中寻找某个系统命令的名字

type  区分命令是由shell内建的还是外部命令

===========================================

 

http://www.mysqlops.com/2011/08/31/oceanbase-use.html  oceanbae的使用

 

Rowkey ，oceanbase中数据是按照行来存储的，每一行有rowkey唯一标示，rowkey是2进制形式

final ByteBuffer byteBuffer = ByteBuffer.allocate(16);//申请16个字节的空间

http://www.mysqlops.com/2011/12/03/mysql-question.html  mysql数据库变慢的分析

http://www.mysqlops.com/2011/03/01/mysql-uuid.htmlmysql uuid（）

http://www.mysqlops.com/2011/06/09/cacti-monitor-introduction.html  mysql的cacti监控工具

http://www.mysqlops.com/2011/06/02/mysql-hot-xtrabackup.html  mysql热备份开源工具

https://cwiki.apache.org/confluence/display/Hive/Home%3bjsessionid=BD26EC810A78E1A5A50C91DEA60B4295  hive

https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface  hive web interface 

https://cwiki.apache.org/confluence/display/Hive/AdminManual+SettingUpHiveServer  hive 的 thrift jdbc odbc 服务

https://cwiki.apache.org/confluence/display/Hive/GettingStarted  hive 的官方指南

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin  matastore

https://cwiki.apache.org/confluence/display/Hive/Tutorial  hive 教程

http://www.oschina.net/p/cassandra   分布式K-V存储方案 

由一堆数据库节点共同构成的一个分布式网络服务，对Cassandra 的一个写操作，会被复制到其他节点上去，对Cassandra的读操作，也会被路由到某个节点上面去读取。对于一个Cassandra群集来说，扩展性能 是比较简单的事情，只管在群集里面添加节点就可以了