摘要: 区别: repartition底层调用的是coalesce方法,默认shuffle coalesce方法的shuffle参数默认为false,默认不shuffle 使用场景: 如果你减少分区数,考虑使用coalesce,这样可以避免执行shuffle。但是假如内存不够用,可能会引起内存溢出。 阅读全文
posted @ 2019-08-20 22:20 Alcesttt 阅读(628) 评论(0) 推荐(0) 编辑