Hibernate 批处理(batch inserts, updates and deletes)
总结:hibernate在进行批量处理不给力的主要原因就是Session中存在缓存,而hibernate的机制就是通过session中的一级缓存去同步数据库,所以当进行批量处理时,缓存中保存的数据量很大时会消耗很大内存资源,造成各种崩溃。
其实平时工作中用到大量的批处理数据还是挺少的,很少遇到有上万条数据的批处理的,但是要是遇到了用hibernate去处理还是很纠结的,然后就去Hibernate官网看了看有没有啥处理方法学习下。
刚工作的时候用hibernate还不是很熟练,遇到批处理的时候就直接切到JDBC做处理,比较混搭的风格。但是感觉看上去代码风格就不是很好的感觉。
批量插入:
如果有10w条数据需要插入到数据库中用hibernate做起来可能会比较困难。
比较too young too naive的做法就是循环:
![](https://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gif)
1 Session session = sessionFactory.openSession(); 2 Transaction tx = session.beginTransaction(); 3 for ( int i=0; i<100000; i++ ) { 4 Customer customer = new Customer(.....); 5 session.save(customer); 6 } 7 tx.commit(); 8 session.close();
这样做法大概会在5w条数据时候跳出OutOfMemoryExcepiton,因为hibernate的一级缓存原因,会把数据都先缓存到session中,等事务commit或者flush的时候才会把数据同步到数据库中,数据量太大时候session就hold不住了你懂的。
可以有个小聪明的做法,用下面方法之前,记得开启JDBC的批处理,在hibernate配置文件中设置hibernate.jdbc.batch_size属性值在10到50之间:
1 Session session = sessionFactory.openSession(); 2 Transaction tx = session.beginTransaction(); 3 4 for ( int i=0; i<100000; i++ ) { 5 Customer customer = new Customer(.....); 6 session.save(customer); 7 if ( i % 20 == 0 ) { //20, 和配置文件中hibernate.jdbc.batch_size属性值一致 8 9 session.flush(); //强制刷新session中的缓存到数据库中 10 session.clear(); //清除session中的缓存,ps:evict()干掉session中一个实例的缓存 11 } 12 } 13 14 tx.commit(); 15 session.close();
批量更新:
批量更新的时候也可以利用fulsh()和clear()方法来定期的清楚session中的缓存,方法和上面的批量插入一样。除此之外,还可以用scroll()方法来处理当你想从数据库查询大量数据并想更新这些数据的时候,貌似有点游标的感觉啊:
1 Session session = sessionFactory.openSession(); 2 Transaction tx = session.beginTransaction(); 3 4 ScrollableResults customers = session.getNamedQuery("GetCustomers") 5 .setCacheMode(CacheMode.IGNORE) // 设置cache模式为:这个session不会和cache有任何联系,不使用cache 6 .scroll(ScrollMode.FORWARD_ONLY); 7 int count=0; 8 while ( customers.next() ) { 9 Customer customer = (Customer) customers.get(0); 10 customer.updateStuff(...); 11 if ( ++count % 20 == 0 ) { 12 //同步数据并且释放内存: 13 session.flush(); 14 session.clear(); 15 } 16 } 17 18 tx.commit(); 19 session.close();
org.hibernate.CacheMode的常量字段有:
GET session会从缓存中读取数据,但是不会把数据增加到缓存中,除非把缓存中的数据更新为无效数据时
IGNORE session不和任何缓存有交互操作,除非把缓存中的数据更新为无效数据时
PUT session不会从缓存中读取数据,但是会把从数据库中读取的数据增加到缓存中
REFRESH session不从缓存中读取数据,但是会把从数据库读取的数据增加到缓存中,和PUT不同的是会忽略配置文件中的hibernate.cache.use_minimal_puts属性,就是为了强制刷新缓存
org.hibernate.ScrollMode的常量字段有:
FORWARD_ONLY: 请求一个类似游标的结果集,并且只转发这个结果集
SCROLL_INSENSITIVE:请求一个游标的结果集,并且对基础数据的变化不敏感
SCROLL_SENSITIVE:请求一个游标的结果集,并且对基础数据变化敏感
没有怎么用过这个属性,不怎么清楚是什么意思。以后有空会再研究下补充上来
通过StatelessSession来进行批处理
1 StatelessSession session = sessionFactory.openStatelessSession(); 2 Transaction tx = session.beginTransaction(); 3 4 ScrollableResults customers = session.getNamedQuery("GetCustomers") 5 .scroll(ScrollMode.FORWARD_ONLY); 6 while ( customers.next() ) { 7 Customer customer = (Customer) customers.get(0); 8 customer.updateStuff(...); //做一些更新操作 9 session.update(customer); 10 } 11 12 tx.commit(); 13 session.close();
Notes:通过StatelessSession查询返回的Customer的实例立刻会成为游离状态,不会关联到任何的持久化层的上下文中也不会和缓存有任何关联。因为StatelessSession本身也不包括一级缓存,所以就不用考虑有缓存溢出的问题。
Notes:StatelessSession没有一级缓存,也不会和二级缓存和其他缓存有任何交互,不会隐式产生transaction更没有脏数据检查。
StatelessSession是一个比较低级别的十分接近底层JDBC的抽象接口。它定义的insert(),update()和delete()的方法都是直接作用到数据库的数据中。和直接使用JDBC的SQL操作数据库效果一样,但是和Session接口中的save(),saveOrUpdate()还有delete()定义的操作有很大的不同。
最后的方法是可以通过HQL进行数据库的批量操作。这个会在后面的文章中继续提到的。
下面是官方的原文,请原谅我的盗版:
http://docs.jboss.org/hibernate/orm/4.2/devguide/en-US/html/ch04.html