hbase major_compactioin
compaction有两种类型:major compactioin和minor compaction. major compaction的时候将region中所有的小文件合并成一个大文件,minor compaction时,将小文件合并成若干个大文件。
major compaction的好处:
1.可以使得一个region拥有的所有数据都转移到region这台机子上来,从而确保本地化。
2.防止小文件(被刷到磁盘的menstore)过多,以保证保证查询效率,hbase需要在必要的时候将这些小的store file合并成相对较大的store file
自动情况下,major compaction会每24小时执行一遍,执行结束后,每个store将只有一个storefile。major compaction的时候,hbase写操作会被block以防止jvm堆用尽。所以建议手动执行major compaction,一般在晚上,hbase使用率低的情况下进行手工major compaction。
major compaction后,如果一个store file比阈值要大,region会
参考文献:
1.http://www.ngdata.com/visualizing-hbase-flushes-and-compactions/
2.https://www-01.ibm.com/support/knowledgecenter/SSPT3X_4.1.0/com.ibm.swg.im.infosphere.biginsights.analyze.doc/doc/bigsql_compaction.html