foreachPartition,在生产环境中,通常来说,都使用foreachPartition来写数据库的
使用批处理操作(一条SQL和多组参数) 发送一条SQL语句,发送一次 一下子就批量插入100万条数据。
用了foreachPartition算子之后,好处在哪里?
1、对于我们写的function函数,就调用一次,一次传入一个partition所有的数据
2、主要创建或者获取一个数据库连接就可以
3、只要向数据库发送一次SQL语句和多组参数即可
Copyright © 2024 打杂滴 Powered by .NET 8.0 on Kubernetes