spark 常用设置 

1、
spark.hadoop.validateOutputSpecs

若设置为true，saveAsHadoopFile会验证输出目录是否存在。虽然设为false可直接覆盖文件路径
posted @ 2019-07-15 11:52  乐-张蒙  阅读(828)  评论(0)  编辑  收藏  举报