Yarn架构

jobtracker存在单点故障问题

jobtracker只支持mapreduce,计算框架不具有可扩展性

jobtracker是性能瓶颈

 

yarn可以整合不同的计算框架,提高资源利用率

 yarn的基本架构

yarn运行过程

yarn容错性

Resource Manager 

存在单点故障

正在基于zookeeper实现HA

NodeManager

失败后,RM将失败任务告诉对应的AM,AM决定如何处理失败的任务。

Application Master

失败后,由RM负责重启

AM需要处理内部任务的容错问题

RMAppMaster会保存已经运行完成的Task,重启后无需重新运行

 

posted @ 2017-04-08 20:54  fisherinbox  阅读(247)  评论(0编辑  收藏  举报