Spark:用saveAsTable保存为hive默认纯文本文件
spark中Dataset
的的saveAsTable
方法可以把数据持久化到hive中,其默认是用parquet格式保存数据文件的,若是想让其保存为其他格式,可以用format
方法配置。
如若想保存的数据文件格式为hive默认的纯文本文件:
df.write.mode(SaveMode.Append).format("hive").saveAsTable("test")
format支持的格式有:
hive (hive默认格式,数据文件纯文本无压缩存储)
parquet (spark默认采用格式)
orc
json
csv
text(若用saveAsTable只能保存只有一个列的df)
jdbc
libsvm