会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
zx学习玩玩
2015年3月25日
Spark源码学习1.8——ShuffleBlockManager.scala
摘要: shuffleBlockManager继承于Logging,参数为blockManager和shuffleManager。shuffle文件有三个特性:shuffleId,整个shuffle stage所具有的唯一Id;bucketId,输出的partition的Id;fileId,标志着这一组文件...
阅读全文
posted @ 2015-03-25 22:00 zx学习玩玩
阅读(358)
评论(0)
推荐(0)
编辑
Spark源码学习1.7——Master.scala
摘要: master第一步是加载系统定义的环境变量,如worker的超时时间、系统保留的Application数目等;第二步,加载worker的信 息,地址、id等;第三步,加载Application的信息,例如运行地址、等待的Application、完成的Application等;第四步, 加载驱动的信息...
阅读全文
posted @ 2015-03-25 21:59 zx学习玩玩
阅读(229)
评论(0)
推荐(0)
编辑
公告
导航
博客园
首页
新随笔
新文章
联系
订阅
管理