Hadoopz安装与配置-日志分析(4)
如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop 记录了详尽的日志信息,日志文件保存在logs 文件夹内。
无论是启动,还是以后会经常用到的MapReduce 中的每一个job,以及HDFS 等相关信息,Hadoop 均存有日志文件以供分析。
例如:
NameNode 和DataNode 的namespaceID 不一致,这个错误是很多人在安装时会遇到的,日志信息为:
java .io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data: NameNode
namespaceID = 1307672299; DataNode namespaceID = 389959598
若HDFS 一直没有启动,读者可以查询日志,并通过日志进行分析,以上提示信息显示了NameNode 和DataNode 的namespaceID 不一致。这个问题一般是由于两次或两次以上的格式化NameNode 造成的,有两种方法可以解决, 第一种方法是删除DataNode 的所有资料; 第二种方法是修改每个DataNode 的namespaceID( 位于/dfs/data/current/VERSION 文件中) 或修改NameNode 的namespaceID(位于/dfs/name/current/VERSION 文件中),使其一致。
下面这两种方法在实际应用中也可能会用到。
1) 重启坏掉的DataNode 或JobTracker。当Hadoop 集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群。在坏死的节点上输入如下命令即可:
bin/Hadoop-daemon.sh start DataNode
bin/Hadoop-daemon.sh start jobtracker
2) 动态加入DataNode 或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
bin/Hadoop-daemon.sh --config ./conf start DataNode
bin/Hadoop-daemon.sh --config ./conf start tasktracker