YARN对比MapReduce1

  1. 可扩展性:与jobtracker相反,每一个应用实例,这里可以说是一个MapReduce job有一个转有的应用管理,在应用执行期间运行。这个模型更靠近原始的google论文。
  2. 高可用:高可用(High availability)通常是在服务进程失败后,另一个守护进程(daemon)能够复制状态并且接管工作。然而,对于大量快速复杂的状态改变,在jobtracker的内存中,使它非常困难保证HA对于这个服务,通过对jobtracker的责任拆分,一个resource manager 和一个application master在YARN中。使得个可用变了一个分治问题。
  3. 利用率:MapReduce1 每一个tasktracker被一个静态分配的固定大小的slots配置。将其分配为map slots 和reduce slots在配置的时候,一个map slot 只能跑map任务,一个reduce slot只能跑reduce任务。在YARN中,一个node manager管理一个资源池,难道在MapReduce 1中,reduce必须得等到map任务跑完才能跑?
  4. 多租户(Multitenancy):YARN的最大好处,是它打开了Hadoop的大门,对于其他分布式的应用。MapReduce也只不过是其中的一个应用而已。
posted @ 2016-03-03 17:58  dalu610  阅读(137)  评论(0编辑  收藏  举报