posts - 261,comments - 48,views - 91万

postgresql批量新增数据时,批量插入的数据量太大了,造成了IO异常

只能把这么多数据先进行分割,再批量插入,但是感觉这种方式不是最优解,先暂时顶着,具体List分割方式如下:

复制代码
package cn.ucmed.otaka.healthcare.cloud.util;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class PartitionArray<T> {

    public Map<Integer, List<T>> partition(List<T> tArray, int capacity) {
        if (tArray.isEmpty() || capacity < 1) {
            return null;
        }
        Map<Integer, List<T>> result = new HashMap<>();

        int size = tArray.size();
        int count = ((Double) Math.ceil(size * 1.0 / capacity)).intValue();

        for (int i = 0; i < count; i++) {
            int end = capacity * (i + 1);
            if (end > size) end = size;
            result.put(i, tArray.subList(capacity * i, end));
        }
        return result;
    }
}
复制代码

原先批量调用的地方做个处理:

复制代码
        try {
            PartitionArray<MDynamicFuncReleaseHistory> partitionArray = new PartitionArray<>();
            Map<Integer, List<MDynamicFuncReleaseHistory>> batchList = partitionArray.partition(releaseHistoryList, INSERT_CAPACITY);
            batchList.forEach((k, v) -> {
                mDynamicFuncReleaseHistoryMapper.batchInsert(v);
            });
        } catch (Exception e) {
            log.error(e.getMessage());
            throw new BusinessException(500, "新增MDynamicFuncReleaseHistory失败");
        }
复制代码

 

posted on   miaoying  阅读(18214)  评论(0编辑  收藏  举报
编辑推荐:
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行:
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 周边上新:园子的第一款马克杯温暖上架
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示