java 分批处理数据工具类

`package com.ly.cloud.base.unit;

import java.util.LinkedList;
import java.util.List;

/**

• 处理因为list太长 批量插入sql报错的问题
  */
  public class BatchSaveUtil {

  public interface PreAddObjectFunction{
  void doPreHandle(T obj) ;
  }

  /**

  • 返回处理好的list
  • @param list 数据源
  • @param batchCount 分批数量 例子：假如是1000 则每1000条分批一次
  • @param preAddObjectFunction 在add前对操作对象进行操作
  • @return 返回分批好的数据源
    */
    public List<List> getBatchList(List list,Integer batchCount,PreAddObjectFunction preAddObjectFunction){
    if(list == null || list.size() <= 0) return null ;
    List<List> batchList = new LinkedList<>() ;
    List tempList = null ;
    for(int i = 0;i < list.size();i++){
    T obj = list.get(i) ;
    if(i % batchCount == 0){
    tempList = new LinkedList<>() ;
    batchList.add(tempList) ;
    }
    preAddObjectFunction.doPreHandle(obj) ;
    tempList.add(obj) ;
    }
    return batchList ;
    }

  /**

  • 这个不需要传回调
  • @param list
  • @param batchCount
  • @return
    */
    public List<List> getBatchList(List list,Integer batchCount){
    return this.getBatchList(list,batchCount,obj -> {}) ;
    }

}
// 调用列子
// 每次500的量新增
List list = new BatchSaveUtil().getBatchList(users,500, vo -> {
// 预处理
vo.setState("1");
});
if(CollectionUtils.isNotEmpty(list)){
for(UserDTO user: users){
rs = rs + insert(user);
}
}

`

方法二：

`int index = testListEntities.size() % 400 == 0 ? testListEntities.size() / 400 : testListEntities.size() / 400 + 1;
        for (int i = 0; i < index; i++) {
            //stream流表达式，skip表示跳过前i*400条记录，limit表示读取当前流的前400条记录
            testListMapper.batchInsert(testListEntities.stream().skip(i * 400).limit(400).collect(Collectors.toList()));
        }`