关于HADOOP_HEAPSIZE参数(转)

原文链接： http://www.oratea.net/?p=821

HADOOP_HEAPSIZE参数是控制hadoop的jvm内存大小的。

这个参数的设置要结合当前服务器的内存情况。

今天测试环境的hadoop出现问题，一些与jvm相关的操作都会报内存不够的错误，如下：

[hadoop@jdk1.6.0_20]$ jps Error occurred during initialization of VM Could not reserve enough space for object heap Could not create the Java virtual machine.

 

查看发现当前的HADOOP_HEAPSIZE大小为500M，而由于是测试环境，所以将NameNode，SecondNameNode以及DataNode都设置在这一台服务器上，所以当hadoop启动的时候会占据大量的内存，导致其他的jvm相关操作就报内存不够的错误。

 

最后将HADOOP_HEAPSIZE减少到200M，问题消失。

不过因为这台机器的内存比较小，以后执行那些大任务的时候可能200M不够用，还是有可能报内存不过的错误。