foreachPartition来写数据库

Posted on 2018-08-03 16:42  打杂滴  阅读(2553)  评论(0编辑  收藏  举报

foreachPartition,在生产环境中,通常来说,都使用foreachPartition来写数据库的

使用批处理操作(一条SQL和多组参数) 发送一条SQL语句,发送一次 一下子就批量插入100万条数据。

用了foreachPartition算子之后,好处在哪里?

1、对于我们写的function函数,就调用一次,一次传入一个partition所有的数据

2、主要创建或者获取一个数据库连接就可以

3、只要向数据库发送一次SQL语句和多组参数即可

Copyright © 2024 打杂滴
Powered by .NET 8.0 on Kubernetes