2020 年 12月 8 日随笔档案 - 苦苦地疼

2020年12月8日

spark.sql.shuffle.partitions到底影响什么

摘要：在运行Spark sql作业时，我们经常会看到一个参数就是spark.sql.shuffle.partitions，而且默认值是200.这个参数到底影响了什么呢？今天咱们就梳理一下。 1、Spark Sql中的Shuffle partitions 在Spark中的Shuffle partitions 阅读全文

posted @ 2020-12-08 14:13 苦苦地疼阅读(11091) 评论(0) 推荐(0) 编辑