hbase major_compactioin

compaction有两种类型:major compactioin和minor compaction. major compaction的时候将region中所有的小文件合并成一个大文件,minor compaction时,将小文件合并成若干个大文件。

major compaction的好处:

1.可以使得一个region拥有的所有数据都转移到region这台机子上来,从而确保本地化。

2.防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store file

自动情况下,major compaction会每24小时执行一遍,执行结束后,每个store将只有一个storefile。major compaction的时候,hbase写操作会被block以防止jvm堆用尽。所以建议手动执行major compaction,一般在晚上,hbase使用率低的情况下进行手工major compaction。

major compaction后,如果一个store file比阈值要大,region会

 

参考文献:

1.http://www.ngdata.com/visualizing-hbase-flushes-and-compactions/

2.https://www-01.ibm.com/support/knowledgecenter/SSPT3X_4.1.0/com.ibm.swg.im.infosphere.biginsights.analyze.doc/doc/bigsql_compaction.html

 

posted on 2015-12-01 23:14  hequn8128  阅读(567)  评论(0编辑  收藏  举报

导航