会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
五分钟学大数据
侧边栏公告处有公众号【五分钟学大数据】二维码,可放心订阅,文章都会首发在公众号上。
博客园
首页
新随笔
联系
订阅
管理
2021年8月16日
Spark的两种核心Shuffle详解
摘要: 在 MapReduce 框架中, Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁, Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O,因此 Shuffle 性能的高低直接影响整个程序的性能。 Spark 也
阅读全文
posted @ 2021-08-16 15:26 五分钟学大数据
阅读(4491)
评论(0)
推荐(1)
编辑
公告