Flink Spark jdbc读写数据库导致oom和提升性能解决办法
fetchsize = Integer.MIN_VALUE 作用
如果不设置上述值,默认读取jdbc数据时,会默认获取所有的行到resultset中,数据量大会导致oom和占用大量内存
reWriteBatchedInserts=true 作用
java开发者使用PG jdbc驱动时,可以指定reWriteBatchedInserts连接参数来加速批量操作。如果reWriteBatchedInserts=true,JDBC驱动会重写批量insert转换成多行insert,从而限制数据库的调用次数
相关连接:
https://cloud.tencent.com/developer/article/1769186
https://www.cnblogs.com/foolaround/p/14654173.html
本文来自博客园,作者:life_start,转载请注明原文链接:https://www.cnblogs.com/yangh2016/p/17023987.html