Flink Spark jdbc读写数据库导致oom和提升性能解决办法

 fetchsize = Integer.MIN_VALUE  作用

如果不设置上述值,默认读取jdbc数据时,会默认获取所有的行到resultset中,数据量大会导致oom和占用大量内存

reWriteBatchedInserts=true 作用

java开发者使用PG jdbc驱动时,可以指定reWriteBatchedInserts连接参数来加速批量操作。如果reWriteBatchedInserts=true,JDBC驱动会重写批量insert转换成多行insert,从而限制数据库的调用次数

 

相关连接:

https://cloud.tencent.com/developer/article/1769186

https://www.cnblogs.com/foolaround/p/14654173.html

posted @ 2023-01-04 09:36  life_start  阅读(218)  评论(0编辑  收藏  举报