[学习笔记]Hadoop 配置调试错误收集
错误清单目录:
2. “个别 datanode启动不了,出现java.io.IOException: verifyNodeRegistration”
错误详单:
①主要两个原因:1、防火墙挡住了,可以关闭iptable 2、网段不同,没有路由信息,可检查IP和掩码确认一下
②查看路由情况:route或ip route
③停止防火墙:service iptables stop
启动防火墙:service iptables start
④但是以上命令只会使用当次机器运行有效,机器重启会又会无效,如需要,可以如下:
chkconfig iptables on
chkconfig iptables off
⑤有更绝的一招,清楚iptables中所有规则,并保存
iptables -F
iptables-save
⑥其他命令:
chkconfig --list 常看chkconfig中所有服务在不同模式下的启动情况
chkconfig iptables --list 常看chkconfig中iptables中内容在不同模式下的启动情况。
2. 个别datanode启动不了,出现java.io.IOException: verifyNodeRegistration: unknown datanode
主要原因:在core-site.xml中配置了如下property:
<property>
<name>dfs.hosts.exclude</name>
<value>excludes</ value>
</property>
并且在$HADOOP_HOME/conf/目录下excludes文件中配置了启动不了datanode。
配置及文件作用解释:通知集群将要停掉的机器名称。