会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
lillcol
博客园
首页
新随笔
联系
管理
订阅
2019年7月26日
Spark 调优之ShuffleManager、Shuffle
摘要: Shuffle 概述 影响Spark性能的大BOSS就是shuffle,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。 因此,如果要让作业的性能更上一层楼,就有必要对 shuffle 过程进行调优。 当然,影响 Spark 性能的还有代码开发、参数设置数以及数据倾斜的解决等,甚至这部分
阅读全文
posted @ 2019-07-26 15:06 lillcol
阅读(3035)
评论(0)
推荐(1)
编辑
公告