关于hadoop2.4.2版本学习时遇到的问题
问题一:namenode启动失败
描述:在初始化后hadoop后,发现datanode启动失败,namenode则可以正常启动,如果把用户换成root权限,再次启动时,则namenode和datanode都可以正常启动,
原因以及解决方案:由于我在之前进行了多次初始化操作,使得存在大量的日志,因此我需要删除日志,日志即我在core-site.xml中hadoop.tmp.dir对应的目录下的内容全部删除。
问题二:版本不一致问题
描述:当我在初次操作hadoop时,会提示如下错误,
[spark@nolonely hadoop]$ hadoop fs -ls / 16/09/25 18:47:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
原因以及解决方案:产生的原因是我的centos版本是64位,而hadoop的版本是32位,因此只需要直接在log4j日志中去除告警信息。在/opt/module/hadoop-2.4.2/etc/hadoop/log4j.properties文件中添加如下内容即可:
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR