2019年8月20日
spark coalesce和repartition的区别和使用场景
摘要： 区别： repartition底层调用的是coalesce方法，默认shuffle coalesce方法的shuffle参数默认为false，默认不shuffle 使用场景： 如果你减少分区数，考虑使用coalesce，这样可以避免执行shuffle。但是假如内存不够用，可能会引起内存溢出。 阅读全文
posted @ 2019-08-20 22:20 Alcesttt 阅读(615) 评论(0) 推荐(0) 编辑