Hadoop TaskScheduler浅析 <转>
摘要:
TaskScheduler, 顾名思义,就是MapReduce中的任务调度器。在MapReduce中,JobTracker接收JobClient提交的Job,将它们按 InputFormat的划分以及其他相关配置,生成若干个Map和Reduce任务。然后,当一个TaskTracker通过心跳告知JobTracker自己还有空闲的任务Slot时,JobTracker就会向其分派任务。具体应该分派一些什么样的任务给这台TaskTracker,这就是TaskScheduler所需要考虑的事情。TaskScheduler工作在JobTracker上。在JobTracker启动时,根据配置“mapred 阅读全文
posted @ 2012-07-13 14:57 要么牛逼,要么滚蛋 阅读(474) 评论(0) 推荐(0) 编辑