大数据-环境部署问题集

1.Hadoop2.2.0 datanode无法启动

打印:FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool 

解决方法：

参考链接：http://stackoverflow.com/questions/22316187/datanode-not-starts-correctly

通过在网上查找资料得出：每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有晴空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下的所有目录,其实主要是tmp/dfs 文件夹。一定记得要清空包括namenode和datanode，有些时候清空了namenode下的tmp/dfs却忘记清空datanode下的tmp/dfs而导致datanode一直无法启动。 

2.运行脚本的时候报out of memory

解决的方法：

修改配置文件hadoop-env.sh中的export HADOOP_CLIENT_OPTS="-Xmx1024m $HADOOP_CLIENT_OPTS"这个选项，把XMX改大就可以了。

3.跑wordcount例子，出现 如下container-launch问题

解决方法：

 如果将yarn-site.xml中的yarn.application.classpath配置项注释掉，就可以正常跑wordcount