HBase0.94.2-cdh4.2.0需求评估测试报告1.0之五
根据以上图分析得出以下结论:
1、 在上面的hbase配置下,顺序和随机写记录(每条记录1K),每写入86-87M(大小可配)左右数据生成一个磁盘文件(store file)。
2、 在上面的hbase配置下,生成4个磁盘文件(store file)后,再生成1个磁盘文件(store file)会触发合并操作(Minor compactions),将4个磁盘文件(store file)合并成一个磁盘文件(store file),同时写入数据生成一个磁盘文件(store file)。
3、 在上面的hbase配置下,创建4个预分区,同时向4个分区随机写入记录,每个分区与第二个结论一致。
1 建议
HDFS存储测试建议和问题:
1、 Hbase中从内存写磁盘文件的大小配置100M,但每次到86-87M左右触发写磁盘文件事件,此问题还没找到原因。
2、 Hbase和zookeeper使用内存较多,每个节点2G内存,多次执行数据写入操作后,内存使用率至少都操作80%以上,此问题是由于创建4个预分区,每个分区都占用100M多内存,Hbase和zookeeper本身也使用1.2G多内存,所以导致内存使用过多,如在先网环境使用,一定要注意内存的大小,否则会出现内存溢出的问题。
3、 此次测试配置关闭hbase本身的合并和分裂事件,由于虚拟机内存和磁盘空间有限,没有做大数据量的测试,所以在此配置下数据量较大时,不知道是否存在其它问题。