摘要: 最近需要将四个txt文件将近两千万的的数据从txt中读出并进行相应的处理入到数据库中,在实际操作中发现PreparedStatement的批处理方法和非处理方法效率相差极大,批量提交其中一个八百万的文本不到五分钟就入库完毕,非批量提交的方法需要两个多小时,在选择批量处理的方法时,遇到了java.lang.OutOfMemoryError: Java heap space问题,刚开始以为myeclipse内存设置太小,修改后问题还是没有解决,最后发现是一次性向命令列表中添加数量过多的sql语句, 造成outOfMemory错误.故修改为每次提交后需调用clearBatch()方法进行清空。通过处 阅读全文
posted @ 2013-07-30 11:16 依稀远方 阅读(3933) 评论(0) 推荐(0) 编辑