pgsql sql语句参数量太多报错

批量入库pgsql的时候,发现pgsql一次只能传3万多参数,

要么改数据库链接url的参数 要么分批次的批量插入。

 

分批次批量插入:

 

1 int limit; // 要切割成多少份 
2 int MAX_NUMBER; // 每份最多多少条数据 
3 
4 List<List<Integer>> splitList = Stream.iterate(0, n -> n + 1).limit(limit).parallel()
5                     .map(a -> list.stream().skip(a * MAX_NUMBER).limit(MAX_NUMBER).parallel().collect(Collectors.toList()))
6                     .collect(Collectors.toList());
7 splitList.foreach(); //分批批量插入

 

更新:Stream.iterate无限流方法后面的值依赖于前面的值,不适合用来并行化

1 List<List<Integer>> splitList = IntStream.rangeClosed(0, limit) //0-limit  左右包含
2         .parallel()
3         .map(a -> list.stream()
4                 .skip(a * MAX_NUMBER)
5                 .limit(MAX_NUMBER)
6                 .collect(Collectors.toList()))
7         .collect(Collectors.toList());

 

posted @   长寿奉孝  阅读(275)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 三行代码完成国际化适配,妙~啊~
· .NET Core 中如何实现缓存的预热?
点击右上角即可分享
微信分享提示