hadoop java VM 参数设置 默认native栈大小设置

问题总结：

程序栈太小，64位机器的栈大小默认比32位的大，将程序从64放到32中执行则报错，需要修改初始堆栈大小

 (.so库中提供两个函数接口，一个里面使用的是尺寸较大的图像，另一个处理的图像很小，只有调用前一个函数的时候会溢出)

最后的问题转化为：如何设置JVM的native lib stack size

hadoop中节点的JVM配置在mapred.child.java.opts参数中！

 

之前在hadoop程序中利用jni调用了C语言写的（libxxx.so）本地库，在开始的机器上（64位Ubuntu）上运行正常，但是复制到另一个（32位Ubuntu）集群中

运行总是报错：

An irrecoverable stack overflow has occurred.
Please check if any of your loaded .so files has enabled executable stack (see man page execstack(8))
# A fatal error has been detected by the Java Runtime Environment:
# JRE version: Java(TM) SE Runtime Environment (7.0_71-b14) (build 1.7.0_71-b14)
# Java VM: Java HotSpot(TM) Server VM (24.71-b01 mixed mode linux-x86 )
# Failed to write core dump. Core dumps have been disabled. To enable core dumping, try "ulimit -c unlimited" before starting Java again

eclipse中指出的错误主要是3点：

  • libxxx.so库堆栈溢出
  • 建议linux下使用execstack设置libxxx.so需要运行stack
  • core dump被禁止，建议ulimit -c unlimited

首先猜想是不是.so文件没有添加执行权限：

于是sudo chmod a+x，但是发现还是不行。

 

于是按照错误提示从后向前在网上搜索了一些解决方法：

1.关于ulimit:http://www.cnblogs.com/leaven/archive/2011/04/22/2024539.html,ulimit -c unlimited设置完之后发现没什么用。

2.关于execstack,需要首先sudo apt-get install execstack进行安装：

自己利用jni方式编译成的libxxx.so原本都是

 - /usr/lib/libTest.so

发现文件没有设置execute stack 于是：execstack -s /usr/lib/libTest.so

但是还是没效果，程序依然报错。

3. 最后将重点放到设置java VM虚拟机分配的栈大小上。

关于程序栈大小的设置

不同的操作系统不同，下面是windows下和linux下的区别。另外系统本身栈的大小的设置和JVM虚拟机的栈大小设置也不同！

  • windows平台下堆栈的大小可以包含在可执行文件里（通过VS的选项进行设置，gcc不行）
  • linux平台下堆栈大小与编译器是无关的，只能通过配置文件设置。

http://myswirl.blog.163.com/blog/static/51318642201211341436611/

设置完成重启之后总是无法生效，又变回了默认的设置。

 

JVM栈大小设置：

  看了几篇关于vm参数设置的网页：

方法： java -Xss512K yourJavaClass 该命令是在命令行中手动执行自己编译的java类时指定JVM栈大小，不适用于hadoop集群工作。

于是直接在eclipse中的Run->Run Configurations中设置VM的参数：

OK!上述修改方法仅在当前工程有效,如果想对所有的工程生效，在jre配置中修改:window->preference->Java->installed JREs->Edit

  -->

这样一来在eclipse中的java程序的栈就满足要求了,但是对于hadoop的分布式节点,还是栈溢出stackoverflow.

在各个节点hadoop的配置文件mapred-site.xml中添加配置：

启动hadoop任务但是问题依然存在。！！！

问题一直没有解决,今天又用Google搜索了一下,发现搜索结果的质量很高! 终于找到答案了!

Hadoop中的配置子节点JVM的最大小和栈大小(-Xss):

http://qnalist.com/questions/356267/setting-thread-stack-size-for-child-jvm

（You could add "-Xss" to the "mapred.child.java.opts" configuration setting.

That's controlling the Java stack size, which I think is the relevant bit for you.）

不知道为什么直接在hadoop配置文件中修改没有生效，在eclipse程序中添加如下代码：

这样就生效了，分布式执行成功。^.^

 

 搜索中的经验：将hadoop和JVM栈 合起来搜索， 直接搜索关键字STACKSIZE

  • 把握大方向，把有关的问题分开搜索，了解基础知识
  • 把有关问题合起来搜索，这样答案更接近自己的问题
  • 在已经获得相关知识后，猜测只要出现问题答案，其中必然会（或可能会）包含的关键词，进行关键词猜测式搜索

 

其他待学习的文档：

遇到了同样的问题：http://zhidao.baidu.com/link?url=IdUFzdEe6s5Od5t-MRnFwUjPDi8NjIPk8DZ8nfDSF2VJ-fvrKX4Pw8PSucs6G_3CzhGKro5nptiyh03ttx5SYK

JVM内存配置详解：http://www.open-open.com/lib/view/open1324736648468.html

JVM参数在不同应用场景中的设置：http://blog.sina.com.cn/s/blog_707577700100vy4m.html

JVM启动参数设置：http://blog.sina.com.cn/s/blog_594058420100efss.html

eclipse中和windows中设置JVM栈大小的方法：http://blog.sina.com.cn/s/blog_6dda602101015j83.html

程序测试JVM的堆和栈：http://www.iteye.com/problems/72713

TOMCAT中配置JVM参数：http://bbs.csdn.net/topics/340266541

优化相关：

hadoop相关配置：http://blog.csdn.net/fenglibing/article/details/31051225

hadoopJVM堆大小设置优化 http://charlie072.blog.51cto.com/1334034/1414407

hadoop 配置项的调优 http://blog.sina.com.cn/s/blog_6a67b5c50100vop9.html

Hadoop MapReduce之任务启动（child JVM启动）http://blog.csdn.net/lihm0_1/article/details/14452885 （代码分析）

hadoop java配置：http://shift-alt-ctrl.iteye.com/blog/2098782

hadoop参数配置性能优化：http://jerrylead.iteye.com/blog/1195335  （JVM重用，同时开启多个JVM，reuse）

 

 

 

 

 

 

posted @ 2014-11-19 16:49  sunnycs  阅读(2758)  评论(0)  编辑  收藏  举报