【Spark】spark.sql.sources.partitionOverwriteMode

参考:(80条消息) spark优化之分区插入_大怀特的博客-CSDN博客_spark插入

 

// 覆盖指定分区
table("tv_group").write.option("partitionOverwriteMode", "dynamic").partitionBy("store_id", "group_id").
mode(SaveMode.Overwrite).save("xxx")

// 删除所有分区再插入
table("tv_group").write.option("partitionOverwriteMode", "STATIC").partitionBy("store_id", "group_id").
mode(SaveMode.Overwrite).save("xx")

posted @   梦醒江南·Infinite  阅读(729)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【译】Visual Studio 中新的强大生产力特性
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 字符编码:从基础到乱码解决
历史上的今天:
2020-07-07 Azkaban 2.0版本及以上创建工作流
点击右上角即可分享
微信分享提示