Spark sql优化

spark_sql_shuffle_partitions设置executor的partitions个数,注意这个参数只对SparkSQL有用

但是有的文章说这是并行度,一个partitions相当于一个task?

posted @ 2020-03-07 22:00  再见傅里叶  阅读(224)  评论(0编辑  收藏  举报