HBase使用压缩存储(snappy)
在将mysql数据导入到hbase数据的过程中,发现hbase的数据容量增加很快,
原本在mysql存储30G容量的数据导入到hbase一直增加到快150G(还未完全导入,手动结束),
而采用默认3个备份储存的话,基本上真个集群有450G的容量。
查看了一些资料,发现hbase的储存确实耗空间,一般hbase采用压缩算法来解决,其中snappy
的算法收到Google的推崇,而且CDH中,直接安装了snappy的库,所以直接用了。
hbase> disable 'test' hbase> alter 'test', {NAME => 'cf', COMPRESSION => 'SNAPPY'} hbase> enable 'test'
使用后,没有立即生效,按照一些资料执行major_compact命令后,也没有发现生效,
但是过了一段时间以后发现表的容量变化了,压缩前原本150G,压缩后15G左右(查资料压缩率最好效果22%左右,这个还没有大量测试)
效果还比较明显。