2015年3月25日

摘要: shuffleBlockManager继承于Logging,参数为blockManager和shuffleManager。shuffle文件有三个特性:shuffleId,整个shuffle stage所具有的唯一Id;bucketId,输出的partition的Id;fileId,标志着这一组文件... 阅读全文
posted @ 2015-03-25 22:00 zx学习玩玩 阅读(358) 评论(0) 推荐(0) 编辑
 
摘要: master第一步是加载系统定义的环境变量,如worker的超时时间、系统保留的Application数目等;第二步,加载worker的信 息,地址、id等;第三步,加载Application的信息,例如运行地址、等待的Application、完成的Application等;第四步, 加载驱动的信息... 阅读全文
posted @ 2015-03-25 21:59 zx学习玩玩 阅读(229) 评论(0) 推荐(0) 编辑