日志分析及几个小技巧

内容摘自 hadoop实战书籍

如果hadoop安装完后不能运行，可以仔细查看日志信息，日志文件保存在logs文件夹内。

无论是启动，还是以后会经常用到的mapreduce中的每一个job，以及hdfs等相关信息，hadoop具存有日志文件以供分析

例如：

namenode 和 datanade namespaceId 不一致，日志信息为：

java.io.OException: Incompatible namespaceIDs in  tmp/dfs/data: namenode namespaceID = 12343; datanode namespaceID=34353

hadoop3.0中是 clusterID

这个问题一般是由于两次货两次一行的格式化naenode造成的，有两种方法解决，第一种方法是删除datanode的所有资料；第二种方法是修改每个datanode的namespaceID。位于 /dfb/data/current/VERSION文件中

或者修改那么弄得的namespaceID，使其一致。

 

下面这两种方法再实际应用中也可能会用到。

1）重启坏掉的datanaode或者jobtracker，当hadoop集群的某单个节点出现问题是，一般不必重启整个系统，只需启动这个几点，他会自动连入整个集群

在坏死的节点输入如下命令即可：

bin/hadoop-daemon.sh start DataNode

bin/hadoop-daemon.sh start jobtracker

2）动态加入datanode货tasktracker。这个命令允许用户动态将某个节点加入集群中。

/bin/hadoop-daemon.sh --config ./conf start DataNode

bin/hadoop-daemon.sh --config ./conf start tasktracker