hadoop集群配置-2问题汇总

对集群配置后会有问题，对问题说明如下：

1、测试运行 bin/hadoop jar hadoop-examples-1.1.2.jar wordcount  conf/   /tmp 命令报错

ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /tmp already exists

 

重新指定输出目录,如修改为bin/hadoop jar hadoop-examples-1.1.2.jar wordcount conf/ /tmp/hadoop

 

2、使用hadoop dfsadmin –ls 有警告

WARN ipc.Client: Address change detected. Old: xxx New:  xxx

 

/etc/hosts文件内容在启动前后有变动，或者IP与主机名称配置不正确

 

3、一直报

hadoop fs -ls
11/11/08 10:59:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).
11/11/08 10:59:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s).

 

解决方法：

1）hadoop配置
主要是$HADOOP_HOME/conf/hdfs-site.xml、mapred-site.xml、core-site.xml中的配置是否正确，伪分布式模式可以参考前面的blog，或是网上的文章，一大堆一大堆的。
2）机器连不通
如果是分布式的，还要看hadoop客户端机器能不能ping通hdfs机器，注意hdfs的端口号
3）namenode没有启动
是否是namenode没有启动，
$stop-all.sh 如果出现no namenode stop则表示是namenode的问题
$hadoop namenode -format
$start-all.sh

 

一般是namenode没有启动造成的

 

4、报错

org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

查看集群中slavers的datanode日志：

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/hadoop/data, expected: rwxr-xr-x, while actual: rwxrwxr-x
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:

 

这个错误是由于datanaode目录的权限导致的，按照提示修改目录权限。再次启动。