Spark:用saveAsTable保存为hive默认纯文本文件

spark中Dataset的的saveAsTable方法可以把数据持久化到hive中,其默认是用parquet格式保存数据文件的,若是想让其保存为其他格式,可以用format方法配置。

如若想保存的数据文件格式为hive默认的纯文本文件:

df.write.mode(SaveMode.Append).format("hive").saveAsTable("test")

format支持的格式有:

hive (hive默认格式,数据文件纯文本无压缩存储)
parquet (spark默认采用格式)
orc
json
csv
text(若用saveAsTable只能保存只有一个列的df)
jdbc
libsvm
posted @ 2019-01-03 16:19  xuejianbest  阅读(2113)  评论(0编辑  收藏  举报