hibernate,JDBC批量更新优化

项目里要完成个补录数据的功能。因为历史数据太多,一下要保存大量数据到数据库。没做二级缓存清理的时候,跑着跑着系统就down掉了。只有做了下优化,效率提高了很多。

1,分次把一定数量的更新数据保存到list里,传递到DAO层

2,在DAO层要及时清除缓存,即每插入一定量的数据后及时把它们从内部缓存中清除掉,释放占用的内存。

// 每处理50条清空缓存
session.save(myObject);
if (i/50 == 0) {
    session.flush();
    session.clear();
}

// 在我的项目中写法如下:
if (i/50 == 0) {
    this.getHibernateTemplate().flush();
    this.getHibernateTemplate().clear();
}

3,还有效率更高的做法是绕开Hibernate API,使用JDBC API来做批量插入

  setAutoCommit 手动提交事务

  addBatch() 添加处理语句

  executeBatch() 一次提交sql语句

String insertSql = "insert into user(name,address) values(?,?)";
Session session = getHibernateTemplate().getSessionFactory().openSession();
Connection conn = session.connection();
PrepareStatement stmt = conn.prepareStatement(insertSql);

// 方式1:自动提交
conn.setAutoCommit(true);
for(int i = 0; i++; i<10000) {
    stmt.setString(1, "testName");
    stmt.setString(2, "testAddress");
    stmt.execute();
}

// 方式2:批量提交
conn.setAutoCommit(false);
for(int i = 0; i++; i<10000) {
    stmt.setString(1, "testName");
    stmt.setString(2, "testAddress");
    stmt.addBatch();
    if (i % 100 == 0) {
        stmt.executeBatch();
        conn.commit();
    }
}
stmt.executeBatch();
conn.commit();

// 关闭session
session.close();

 

 

 

posted @ 2013-05-29 14:49  Little_cheeper  阅读(2338)  评论(0编辑  收藏  举报