Spark saveAsTable写入表会提示表已存在的问题
使用以下方式写入表时,如果表不存在,但是表的hdfs目录下存在文件时会报错
df.write.mode("overwrite").partitionBy("pk_hour").saveAsTable("dw.test")
可以在Spark的参数中添加下面配置,以下仅仅是Spark2中生效:
spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation=true
通常我们可以先手工创建表,然后使用如下方式写入表数据可以避免:
df.write.mode("overwrite").insertInto("dw.test")
本文来自博客园,作者:硅谷工具人,转载请注明原文链接:https://www.cnblogs.com/30go/p/17085153.html