Spark saveAsTable写入表会提示表已存在的问题

使用以下方式写入表时,如果表不存在,但是表的hdfs目录下存在文件时会报错

df.write.mode("overwrite").partitionBy("pk_hour").saveAsTable("dw.test")

可以在Spark的参数中添加下面配置,以下仅仅是Spark2中生效:

spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation=true

通常我们可以先手工创建表,然后使用如下方式写入表数据可以避免:

df.write.mode("overwrite").insertInto("dw.test")
posted @ 2023-02-02 10:31  硅谷工具人  阅读(221)  评论(0编辑  收藏  举报
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。