hadoop相关问题集锦

一、
错误内容：运行mapreduce任务时发生
java.io.IOException: All datanodes 172.16.0.161:50010 are bad. Aborting...
java.io.EOFExceptionat java.io.DataInputStream.readShort
......
job failed：# of failed Reduce Tasks exceeded allowed limit. FailedCount: 1.....
原因：程序运行中打开的文件数量超过系统或hadoop配置的上限。
解决办法：
第1步，修改系统打开文件数量上限。
以root身份执行以下命令
①、修改/etc/sysctl.conf,添加这行：
fs.file-max = 65536

②、修改/etc/security/limits.conf，添加这行：

limit open file number for all user（* stand for all user,you can also specify some special user,e.g. hadoop）. root is unlimited.

```
  -       nofile  65536
```

ps：通过ulimit -n 命令查看修改是否正确。
第2步，修改hadoop配置文件中的单个datanode打开文件数量上限。
修改$HADOOP_HOME/conf/hdfs-site.xml 的 dfs.datanode.max.xcievers属性，数目不能大于上述系统打开文件数的设置。
ps：dfs.datanode.max.xcievers属性表示每个datanode任一时刻可以打开的文件数量上限。

二、
错误内容：上传本地文件至hdfs，或者写hdfs时发生
13/01/11 11:58:59 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_-4530791120869379767_27655java.io.IOException: Bad response 1 for block blk_-4530791120869379767_27655 from datanode 192.168.2.22:50010
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2977)

13/01/11 11:59:05 WARN hdfs.DFSClient: Error Recovery for block blk_-4530791120869379767_27655 bad datanode[2] 192.168.2.22:50010
13/01/11 11:59:05 WARN hdfs.DFSClient: Error Recovery for block blk_-4530791120869379767_27655 in pipeline 192.168.2.13:50010, 192.168.2.19:50010, 192.168.2.22:50010: bad datanode 192.168.2.22:50010
13/01/11 13:30:06 WARN hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_5109898189564059191_27678java.io.IOException: Bad response 1 for block blk_5109898189564059191_27678 from datanode 192.168.2.11:50010
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2977)
13/01/14 10:21:48 WARN hdfs.DFSClient: DataStreamer Exception: java.net.SocketTimeoutException: 15000 millis timeout while waiting for channel to be ready for write. ch : java.nio.channels.SocketChannel[connected local=/192.168.2.24:59449 remote=/192.168.2.13:50010]
at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:164)
at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:146)
at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:107)
at java.io.BufferedOutputStream.write(BufferedOutputStream.java:122)
at java.io.DataOutputStream.write(DataOutputStream.java:107)
at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2857)
。。。
解决方法：
修改hadoop配置文件hdfs-site.xml，增加dfs.datanode.socket.write.timeout和dfs.socket.timeout两个属性的设置。

dfs.datanode.socket.write.timeout
100000000

<property>
    <name>dfs.socket.timeout</name>
    <value>100000000</value>
</property>

ps: 超时上限值以毫秒为单位。0并不表示无限制，我设置过，不起作用！

三、
错误内容：Type mismatch 问题
原因：
　　setOutputKeyClass() 会同时限定Mapper和Reducer的输出 key 类型，同理，setOutputValueClass()会同时限定Mapper和Reducer的输出value类型。如果Mapper和Reducer的输出key或value类型不同，可以通过setMapOutputKeyClass 和 setMapOutputValueClass来设定Mapper的输出key/value对。

　　举个例子，我写的Mapper类如下:

　　static class FetchMapper extends Mapper<LongWritable, Text, Text, LongWritable>{ }
　　而Reducer类如下:

　　tatic class FetchReducer extends Reducer<Text, LongWritable, Text, Text> { }
　　这时红色部分表明了FetchMapper的输出<k2,v2> 是 <Text,LongWritable> ,而 FetchReducer的输出为<k3,v3>是 <Text,Text>。可见v2 和 v3 是不同的。此时如果用下面的设置启动程序的话就会出现Type mismatched 错误:

    　　  job.setInputFormatClass(TextInputFormat.class);         job.setOutputFormatClass(TextOutputFormat.class);    
 　　job.setOutputKeyClass(Text.class);         job.setOutputValueClass(Text.class);

解决方法：　加上红色这句：

job.setInputFormatClass(TextInputFormat.class);

    job.setOutputFormatClass(TextOutputFormat.class);         job.setMapOutputValueClass(LongWritable.class);         job.setOutputKeyClass(Text.class);         job.setOutputValueClass(Text.class);

==========================================================================================

如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。

无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。

1、hadoop-root-datanode-master.log 中有如下错误：

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
导致datanode启动不了。

原因:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.
格式化hdfs的命令
Shell代码收藏代码
hadoop namenode -format

2、如果datanode连接不上namenode，导致datanode无法启动。
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
关闭防火墙
Shell代码收藏代码
service iptables stop

机器重启后，防火墙还会开启。

3、从本地往hdfs文件系统上传文件，出现如下错误：
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink

INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023

WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.

解决方法：
关闭防火墙：
Shell代码收藏代码
service iptables stop

禁用selinux:
编辑 /etc/selinux/config文件，设置“SELINUX=disabled”

4、安全模式导致的错误
org.apache.hadoop.dfs.SafeModeException: Cannot delete ..., Name node is in safe mode
在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

Java代码收藏代码
hadoop dfsadmin -safemode leave
关闭安全模式

5、以本地模式运行hadoop时，抛异常
ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.net.UnknownHostException: hadoop: hadoop: Name or service not known
Exception in thread "main" java.net.UnknownHostException: hadoop: hadoop: Name or service not known

把/etc/hostname文件中的主机名加入到/etc/hosts文件中，问题解决。

6、格式化hdfs文件系统时，出错：
Format aborted in /home/hadoop/dfs/name

/home/hadoop/dfs/name 是 dfs.name.dir 配置的本地路径，把这个目录删除，
再格式化就可以了。

7、datanode无法启动，datanode的日志中有error：
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid

发现日志前一行有warn：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permissi on for /home/hadoop/dfs/data, expected: rwxr-xr-x, while actual: rwxrwxr-x

按照日志修改了目录的访问权限，问题解决。

8.hadoopdatanode启动不起

例如：

NameNode和DataNode的namespaceID不一致，这个错误是很多人在安装时会遇到的，日志信息为：

Java.io.IOException: Incompatible namespaceIDs in/root/tmp/dfs/data:

NameNode namespaceID = 1307672299; DataNode namespaceID =389959598

若HDFS一直没有启动，读者可以查询日志，并通过日志进行分析，以上提示信息显示了NameNode和DataNode的namespaceID不一致。

这个问题一般是由于两次或两次以上的格式化NameNode造成的，有两种方法可以解决，第一种方法是删除DataNode的所有资料（及将集群中每个datanode的/hdfs/data/current中的VERSION删掉，然后执行hadoopnamenode-format重启集群，错误消失。<推荐>）；第二种方法是修改每个DataNode的namespaceID（位于/hdfs/data/current/VERSION文件中）<优先>或修改NameNode的namespaceID（位于/hdfs/name/current/VERSION文件中），使其一致。

下面这两种方法在实际应用中也可能会用到。

1）重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。

在坏死的节点上输入如下命令即可：

bin/Hadoop-daemon.sh start DataNode

bin/Hadoop-daemon.sh start jobtracker

2）动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。

bin/Hadoop-daemon.sh --config ./conf startDataNode

bin/Hadoop-daemon.sh --config ./conf start tasktracker

9.强行关机或hadoop意外中断会出现这种错误:

not start task tracker because java.io.IOException: Failed to set permissions o
f path: \app\hadoop\tmp\mapred\local\ttprivate to 0700

source name ugi already exists

重新格式化也不行，总是提示 Re-format filesystem in

删除hadoop节点的data临时目录，就是core-site.xml的hadoop.tmp.dir配置的那个系统文件目录, 注意，不是hdfs的那个目录（hls -ls 看到的那个目录），必须是操作系统直接看到的那个临时目录。然后重新格式化就可以解决问题。

错误：Format aborted in /usr/local/hadoop/hdfsconf/name，启动后发现发现http://das0:5007无法显示。

将/data0/hadoop-name文件夹整个删除。然后再格，成功！！！

在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在。
Hadoop这样做的目的是防止错误地将已存在的集群格式化了

11.2013-05-13 16:18:18,624 WARNorg.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugialready exists!2013-05-13 16:18:22,916 ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:java.io.IOException: Call to /222.25.189.41:9000 failed on localexception: java.io.IOException:

重新格式化还是不能解决。
解决办法：手动删除hadoop.tmp.dir属性下的所有文件和目录，然后重新格式化即可

12.ERROR namenode.NameNode: java.io.IOException: Cannot create directory /export/home/dfs/name/current
ERROR namenode.NameNode: java.io.IOException: Cannot remove current directory: /usr/local/hadoop/hdfsconf/name/current
原因是没有设置 /usr/hadoop/tmp 的权限没有设置，将之改为：

chown –R hadoop:hadoop /usr/hadoop/tmp
sudo chmod -R a+w /usr/local/hadoop

posted @ 2020-07-08 16:07 seaskyccl 阅读(285) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

seaskyccl

hadoop相关问题集锦

limit open file number for all user（* stand for all user,you can also specify some special user,e.g. hadoop）. root is unlimited.

公告