hibernate,JDBC批量更新优化
项目里要完成个补录数据的功能。因为历史数据太多,一下要保存大量数据到数据库。没做二级缓存清理的时候,跑着跑着系统就down掉了。只有做了下优化,效率提高了很多。
1,分次把一定数量的更新数据保存到list里,传递到DAO层
2,在DAO层要及时清除缓存,即每插入一定量的数据后及时把它们从内部缓存中清除掉,释放占用的内存。
// 每处理50条清空缓存 session.save(myObject); if (i/50 == 0) { session.flush(); session.clear(); } // 在我的项目中写法如下: if (i/50 == 0) { this.getHibernateTemplate().flush(); this.getHibernateTemplate().clear(); }
3,还有效率更高的做法是绕开Hibernate API,使用JDBC API来做批量插入
setAutoCommit 手动提交事务
addBatch() 添加处理语句
executeBatch() 一次提交sql语句
String insertSql = "insert into user(name,address) values(?,?)"; Session session = getHibernateTemplate().getSessionFactory().openSession(); Connection conn = session.connection(); PrepareStatement stmt = conn.prepareStatement(insertSql); // 方式1:自动提交 conn.setAutoCommit(true); for(int i = 0; i++; i<10000) { stmt.setString(1, "testName"); stmt.setString(2, "testAddress"); stmt.execute(); } // 方式2:批量提交 conn.setAutoCommit(false); for(int i = 0; i++; i<10000) { stmt.setString(1, "testName"); stmt.setString(2, "testAddress"); stmt.addBatch(); if (i % 100 == 0) { stmt.executeBatch(); conn.commit(); } } stmt.executeBatch(); conn.commit(); // 关闭session session.close();