摘要: 今天用MetaMap处理pubmed数据,总是遇到java.lang.OutOfMemoryError: Java heap space,在网上搜了一大圈,终于找到了解决方法,记录一下。以下内容来自:wfnlibo因为程序要从数据读取近10W行记录处理,当读到9W的时候就出现java.lang.OutOfMemoryError: Java heap space 这样的错误。在网上一查可能是JAVA的堆栈设置太小的原因。跟据网上的答案大致有这两种解决方法:1、设置环境变量set JAVA_OPTS= -Xms32m -Xmx512m可以根据自己机器的内存进行更改,但本人测试这种方法并没有解决问题 阅读全文
posted @ 2012-04-21 20:14 todoit 阅读(1242) 评论(0) 推荐(0) 编辑
摘要: 该方法不需要数据库和excel插件,程序简单,实现速度快。目标:如下面的txt文档有200多个,每个txt文档都有20条不规则记录,需要将每个文档中的每条数据保存到excel中。 这些txt是从网站中保存下来的,由于一些网站要验证session和ip,所以不是很好实现网上抓取,就对下载下来的文本文件进行处理,以后再研究网上抓取的过程。文本片段例子: HIGHLY CITED PAPERS FOR (PEOPLES R CHINA) Sorted by: Citations Publication Year Journal Title 881 - 900 ... 阅读全文
posted @ 2012-04-21 19:58 todoit 阅读(4226) 评论(0) 推荐(1) 编辑