pgsql sql语句参数量太多报错

批量入库pgsql的时候,发现pgsql一次只能传3万多参数,

要么改数据库链接url的参数 要么分批次的批量插入。

 

分批次批量插入:

 

1 int limit; // 要切割成多少份 
2 int MAX_NUMBER; // 每份最多多少条数据 
3 
4 List<List<Integer>> splitList = Stream.iterate(0, n -> n + 1).limit(limit).parallel()
5                     .map(a -> list.stream().skip(a * MAX_NUMBER).limit(MAX_NUMBER).parallel().collect(Collectors.toList()))
6                     .collect(Collectors.toList());
7 splitList.foreach(); //分批批量插入

 

更新:Stream.iterate无限流方法后面的值依赖于前面的值,不适合用来并行化

1 List<List<Integer>> splitList = IntStream.rangeClosed(0, limit) //0-limit  左右包含
2         .parallel()
3         .map(a -> list.stream()
4                 .skip(a * MAX_NUMBER)
5                 .limit(MAX_NUMBER)
6                 .collect(Collectors.toList()))
7         .collect(Collectors.toList());

 

posted @ 2023-10-12 15:02  长寿奉孝  阅读(113)  评论(0编辑  收藏  举报