2014 年 8月 30 日随笔档案 - esingchan

2014年8月30日

MapReduce剖析笔记之六：TaskTracker初始化任务并启动JVM过程

摘要：在上面一节我们分析了JobTracker调用JobQueueTaskScheduler进行任务分配，JobQueueTaskScheduler又调用JobInProgress按照一定顺序查找任务的流程，获得了任务之后，将任务封装为TaskTrackerAction数组返回的整个过程。TaskTrac... 阅读全文

posted @ 2014-08-30 18:52 esingchan 阅读(1875) 评论(0) 推荐(0) 编辑

MapReduce剖析笔记之五：Map与Reduce任务分配过程

摘要：在上一节分析了TaskTracker和JobTracker之间通过周期的心跳消息获取任务分配结果的过程。中间留了一个问题，就是任务到底是怎么分配的。任务的分配自然是由JobTracker做出来的，具体来说，存在一个抽象类：TaskScheduler，主要负责分配任务，继承该类的有几个类：Capaci... 阅读全文

posted @ 2014-08-30 04:49 esingchan 阅读(7922) 评论(1) 推荐(2) 编辑