2014年1月18日

【Hadoop代码笔记】Hadoop作业提交之JobTracker接收作业提交

摘要： 一、概要描述在上一篇博文中主要描述了JobTracker接收作业的几个服务（或功能）模块的初始化过程。本节将介绍这些服务（或功能）是如何接收到提交的job。本来作业的初始化也可以在本节内描述，但是涉及到JobInProgress的初始化过程放在一张图上太拥挤，就分开到下一篇文章中描述。二、 流程描述1. JobClient通过RPC的方式向JobTracker提交作业；2. 调用JobTracker的submitJob方法。该方法是JobTracker向外提供的供调用的提交作业的接口。3. submit方法中调用JobTracker的addJob方法。4. 在addJob方法中会把作业加入到集 阅读全文

posted @ 2014-01-18 21:14 idouba.net 阅读(1860) 评论(1) 推荐(0) 编辑

【Hadoop代码笔记】Hadoop作业提交之JobTracker等相关功能模块初始化

摘要： 一、概要描述本文重点描述在JobTracker一端接收作业、调度作业等几个模块的初始化工作。想过模块的介绍会在其他文章中比较详细的描述。受理作业提交在下一篇文章中会进行描述。为了表达的尽可能清晰一点只是摘录出影响逻辑流转的主要代码。重点强调直接的协作调用，每个内部完成的逻辑（一直可以更细的说明、有些细节可能自己也理解并不深刻:-(）在后续会描述。主要包括JobTracker、TaskScheduler（此处以FairScheduler为例）、JobInProgressListener（以用的较多的EagerTaskInitializationListener为例）、TaskSelector(以 阅读全文

posted @ 2014-01-18 11:05 idouba.net 阅读(1198) 评论(0) 推荐(0) 编辑

导航