会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Alcesttt
博客园
首页
新随笔
联系
订阅
管理
2019年8月20日
spark coalesce和repartition的区别和使用场景
摘要: 区别: repartition底层调用的是coalesce方法,默认shuffle coalesce方法的shuffle参数默认为false,默认不shuffle 使用场景: 如果你减少分区数,考虑使用coalesce,这样可以避免执行shuffle。但是假如内存不够用,可能会引起内存溢出。
阅读全文
posted @ 2019-08-20 22:20 Alcesttt
阅读(628)
评论(0)
推荐(0)
编辑
公告