摘要:
为什么用LZO?启用LZO压缩LZO对比Hbase默认的GZip,前者性能较高,后者压缩比较高,具体参见Using LZO Compression。对于想提高HBase读写性能的开发者,采用LZO是比较好的选择。对于非常在乎存储空间的开发者,则建议保持默认。我对lzo和gz对比并测试了一下,发现性能提升并不是十分明显。一、hbase添加LZO注意:root用户安装,否则安装会出现错误1、首先要让系统支持lzo动态库,安装lzo-2.00以上版本:http://www.oberhumer.com/opensource/lzo/download/2、解压 tar -zxvf lzo-2.06.ta 阅读全文
摘要:
hadoop 的版本问题 关于hadoop版本其实刚刚接触有些感觉乱。经过查阅,发现以下特点。 目前,hadoop社区有几个不同的分支版本,各个版本之前又相互联系。以下是几个主要版本的一些介绍。 0.20.2是一个stable的版本,他又几个子版本,0.20.203 具有security特性,但是不具有append和raid功能。 0.20-append具有append功能没有security。0.20.205是0.20-append和0.20.203merge,具有append和security,没有raid,symlink等。1.0及之后的版本都是从0.20.205开始的。是稳定版本... 阅读全文