2015年3月5日

Spark源码学习1.4——MapOutputTracker.scala
摘要： 相关类：MapOutputTrackerMessage，GetMapOutputStatuses extends MapPutputTrackerMessage，StopMapOutputTracker extends MapOutputTrackerMessage，MapOutputTracker... 阅读全文
posted @ 2015-03-05 20:14 zx学习玩玩 阅读(1136) 评论(0) 推荐(0) 编辑
 
Spark源码学习1.5——BlockManager.scala
摘要： 一、BlockResult类该类用来表示返回的匹配的block及其相关的参数。共有三个参数：data：Iterator [Any]。readMethod： DataReadMethod.Value。bytes： Long。实例化InputMetrics类。二、BlockManager类关系的参数有e... 阅读全文
posted @ 2015-03-05 20:14 zx学习玩玩 阅读(448) 评论(0) 推荐(0) 编辑
 
Spark源码学习1.3——TaskSetManager.scala
摘要： TaskSetManager.scalaTaskSet是指一系列被提交的task，一般是代表特定的stage中丢失的partition。TaskSetManager通过一个TaskSchedulerImpl实体来对TaskSet进行管理。该方法定义了以下参数：EXECUTOR_TASK_BLACKL... 阅读全文
posted @ 2015-03-05 15:50 zx学习玩玩 阅读(928) 评论(0) 推荐(0) 编辑
 
Spark源码学习1.2——TaskSchedulerImpl.scala
摘要： 许久没有写博客了，没有太多时间，最近陆续将Spark源码的一些阅读笔记传上，接下来要修改Spark源码了。这个类继承于TaskScheduler类，重载了TaskScheduler中的大部分方法，是Task调度的实际操作。1、检测推测执行间隔，最大响应时间，每个task的CPU数。2、指定调度模式S... 阅读全文
posted @ 2015-03-05 15:48 zx学习玩玩 阅读(411) 评论(0) 推荐(0) 编辑