2011 年 9月随笔档案 - 大圆那些事

09 2011 档案

分布式系统Hadoop源码阅读与分析（一）：作业调度器实现机制

摘要：上一篇博文对Hadoop的作业调度器进行了介绍，我们知道，JobTracker和TaskTracker是Hadoop作业调度过程中最核心的两个部分，前者负责map/reduce作业的调度与分派，后者负责map/reduce作业的实际执行，它们之间通过RPC机制进行通讯。下面将对Hadoop 0.20.2版本中作业调度相关源码进行分析，至于JobTracker和TaskTracker中与作业调度无关的源码部分，并未进行详细介绍。阅读全文

posted @ 2011-09-04 16:33 大圆那些事阅读(6351) 评论(11) 推荐(2) 编辑

分布式系统Hadoop作业调度器及其问题的讨论

摘要：Hadoop作业调度器的设计采用的是插件机制，即作业调度器是动态加载的、可插拔的，同时第三方可以开发自己的作业调度器替代Hadoop默认的调度器。目前，Hadoop的作业调度器主要有以下三个：FIFO Scheduler、Capacity Scheduler、Fair Scheduler。这里对Hadoop作业调度器的基本原理进行介绍，然后就其存在的问题给出了自己的理解。阅读全文

posted @ 2011-09-04 16:02 大圆那些事阅读(3857) 评论(1) 推荐(0) 编辑