2020年4月16日
Spark shuffle 相关参数调优（带记忆）
摘要： 问题：如果在 shuffle 的时候没有指定 reduce 的个数，那么会有多少个 reduce？如果不指定 reduce 个数的话，就按默认的走：1、如果自定义了分区函数 partitioner 的话，就按你的分区函数来走。2、如果没有定义，那么如果设置了 spark.default.parall 阅读全文
posted @ 2020-04-16 18:18 花未全开*月未圆 阅读(390) 评论(0) 推荐(0) 编辑