hadoop问题

如果启动hadoop集群时，无法启动datanode，则可以集群所有节点下dfs.datanode.data.dir的配置值所指示的路径下清空所有文件（夹），然后 hadoop namenode -format，然后 hadoop/start-all.sh重启hadoop。

如果集群节点的系统时间不一致，可能在执行hadoop任务时出现t如下错误

pache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.
This token is expired. current time is 1487414195283 found 1487408156464

 

此时，可以调整各节点系统时间，或者在yarn-site.xml配置文件中添加

<property>
          <name>yarn.resourcemanager.rm.container-allocation.expiry-interval-ms</name>
          <value>100000000</value>
</property>

 

然后重启即可