s3操作

保存成json格式,并压缩

spark.range(20).repartition(1).write.mode('overwrite').json(path='out/20200715',compression='gzip')

 

posted @ 2020-07-16 15:43  muyue123  阅读(157)  评论(0编辑  收藏  举报