Hadoop 常见问题

操作系统环境：Ubuntu 10.10

Last Update 2011-4-18 15:47:10

 

1.WARN mapred.JobClient: Error reading task output ******

2.INFO mapred.JobClient: Task Id : attempt_201104051702_0010_m_000010_2, Status : FAILED

  Too many fetch-failures

3.INFO ipc.Client: Retrying connect to server: [domain:port]. Already tried X time(s).

  检查datanode 是否启动，端口是否冲突，防火墙规则等； 

　重新格式化DFS；

  重新启动（也许可以一试）；  

4.Input path does not exist

  输入正确的路径 或者检查 dfs

5.ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: XXXXX

  ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.net.UnknownHostException: 

  【问题描述】在master上启动集群的时候，发现slave上的datanode或者tasktracker进程没有启动

  【疑问】在slaves配置文件中，用的都是ip地址，为何要换成主机名？解析的过程是怎样的呢？

  【注意】hostname 显示主机名 ;修改/etc/hosts 确保主机名能够解析

6.Name node is in safe mode.

The ratio of reported blocks 0.6985 has not reached the threshold 0.9990. Safe mode will be turned off automatically.

【命令】 bin/hadoop dfsadmin -safemode leave  离开安全模式

【为何会有安全模式】检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块