2015年3月25日

Spark源码学习1.8——ShuffleBlockManager.scala
摘要： shuffleBlockManager继承于Logging，参数为blockManager和shuffleManager。shuffle文件有三个特性：shuffleId，整个shuffle stage所具有的唯一Id；bucketId，输出的partition的Id；fileId，标志着这一组文件... 阅读全文
posted @ 2015-03-25 22:00 zx学习玩玩 阅读(356) 评论(0) 推荐(0) 编辑
 
Spark源码学习1.7——Master.scala
摘要： master第一步是加载系统定义的环境变量，如worker的超时时间、系统保留的Application数目等；第二步，加载worker的信 息，地址、id等；第三步，加载Application的信息，例如运行地址、等待的Application、完成的Application等；第四步， 加载驱动的信息... 阅读全文
posted @ 2015-03-25 21:59 zx学习玩玩 阅读(227) 评论(0) 推荐(0) 编辑