会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
求知
博客园
首页
新随笔
联系
订阅
管理
2019年8月9日
spark shuffle读操作
摘要: 提出问题 1. shuffle过程的数据是如何传输过来的,是按文件来传输,还是只传输该reduce对应在文件中的那部分数据? 2. shuffle读过程是否有溢出操作?是如何处理的? 3. shuffle读过程是否可以排序、聚合?是如何做的? 。。。。。。 概述 在 spark shuffle的写操
阅读全文
posted @ 2019-08-09 20:25 JohnnyBai
阅读(1712)
评论(5)
推荐(3)
编辑
公告