zz 标 题: 求weka JVM outofMemory问题的解决方案【已解决】

发信人: finallyliuyu (领头驴), 信区: NLP
标  题: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 10:36:12 2011), 站内

正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
语料库： Reteurs21578
featurewords 100
训练集规模：6950
测试集规模:2676
（采用稀疏数据储存模式）生成的arff文件大小：trainCorpus.arff(538k),testCorpus.arff(208k)分类器采用SMO
结果报错run outof memory。
参照一位同学的方法把runWeka.ini中的maxheap=2048m,依然无效。。
请教版内的各位大神还有别的解决方案吗？
看到网络上有一些改JVM大小的方法，可是我对java不太熟悉哈，不知道如何修改。求详细步骤。
--
NLP业余爱好者一枚

※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]

[本篇全文] [回复文章] [本篇作者：finallyliuyu] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

2

发信人: finallyliuyu (领头驴), 信区: NLP
标  题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 10:47:05 2011), 站内

我把我自己的数据上传了，求助电脑上装有weka的童鞋帮忙跑下，不胜感激。另外我疑心我自己的weka安装有问题。 weka官方网上有两种weka,一种是自带jvm的，一种是不带jvm的。由于我电脑上以前装过java SDK,所以我选的是不带jvm的，这样安装后的java在快捷菜单项上无法启动

【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................

--
NLP业余爱好者一枚

※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]


附件: trainCorpus.arff (538KB)

附件: testCorpus.arff (207KB)

[本篇全文] [回复文章] [本篇作者：xwild] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

3

发信人: xwild (xwild), 信区: NLP
标  题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 10:53:01 2011), 站内

可以试一下weka的命令行，可以设置最大内存
【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................

--

※ 来源:·水木社区 http://newsmth.net/·[FROM: 211.87.234.*]

[本篇全文] [回复文章] [本篇作者：finallyliuyu] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

4

发信人: finallyliuyu (领头驴), 信区: NLP
标  题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 11:28:23 2011), 站内

我这边按照wekadoc里面调用weka命令行的方法进行调用，没有反应哈，不出分类过程。
【 在 xwild (xwild) 的大作中提到: 】
: 可以试一下weka的命令行，可以设置最大内存

--
NLP业余爱好者一枚

※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]


此主题相关图片如下：wekaSimpleCLI调用.jpg (11KB)

[本篇全文] [回复文章] [本篇作者：xphan] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

5

发信人: xphan (DBlue), 信区: NLP
标  题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 16:43:30 2011), 站内

java 在命令行下可以用 -Xms 和-Xmx来设置最小最大内存，比如
java -Xms256m -Xmx5g ...
不过在windows下运行的话，系统对内存也有限制


【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................

--

※ 来源:·水木社区 http://newsmth.net/·[FROM: 125.39.171.*]

[本篇全文] [回复文章] [本篇作者：fancyerii] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

6

发信人: fancyerii (喵了个咪的), 信区: NLP
标  题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Sun Feb 20 18:14:10 2011), 站内

这样的问题要么自己调试代码，要么发到他们的maillist比较好。
【 在 finallyliuyu (领头驴) 的大作中提到: 】
: 正在用weka做文本分类的实验（主要侧重点在于衡量特征词选择算法的优劣）。
: 语料库： Reteurs21578
: featurewords 100
: ...................

--

※ 来源:·水木社区 http://newsmth.net/·[FROM: 162.105.200.*]

[本篇全文] [回复文章] [本篇作者：finallyliuyu] [回信给作者] [进入讨论区] [返回顶部][分享到 搜狐微博]

7

发信人: finallyliuyu (领头驴), 信区: NLP
标  题: Re: 求weka JVM outofMemory问题的解决方案
发信站: 水木社区 (Mon Feb 21 21:14:03 2011), 站内

多谢xwild,这个问题目前已经解决。 方案如下：
在weka SimpleCLI窗口依次输入
java -Xmx 1024m
java weka.classifiers.lazy.IBk -K 5 -t data/trainCorpus.arff -T data/testCorpus.arff -i
此处以knn为例来说明如何利用控制台解决weka内存限制的问题。
参考资料 weka自带的WekaManual 第一章 第一节A command line primer
 Morgan.Kaufmann data mining   第十三章第一节 "The command line interface"

【 在 xwild (xwild) 的大作中提到: 】
: 可以试一下weka的命令行，可以设置最大内存

--
NLP业余爱好者一枚

※ 来源:·水木社区 http://newsmth.net/·[FROM: 159.226.20.*]