安装CDH4遇到的问题

安装CDH4.2.0遇到的一些问题，记录下来：

 

1、LZO的问题

由于CDH4中JobContext由class变为一个interface，所以直接使用原先的lzo的jar包会出现问题，替换为cloudera提供的一个rpm包中的lzo

2、codec配置

配置core-site.xml

 <property>

    <name>io.compression.codecs</name>    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,com.hadoop.compression.lzo.LzopCodec</value>

  </property>

注意codec不要有空格

3、切换hadoop用户报错

报错为cannot set user id: Resource temporarily unavailable错误,说明资源不足，经检查是打开文件超出限制

解决方法：在32内核中除了设置/etc/security/limit.conf外，还需要设置/etc/security/limits.d/90-nproc.conf