随笔分类 - Yarn
摘要:YARN部分 介绍下YARN Yet Another Resource Negotiator,另一种资源协调者,是一种新的 Hadoop 资源管理器它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 YARN有几个模块
阅读全文
摘要:调度器 Scheduler 类似于一个队列,不参与程序执行 AppMaster 作用:监视 Map Reduce 任务 如果挂掉,向调度器 Scheduler 重新申请 资源池 AppManager 作用:监视 AppMaster ,如果挂掉 重新开辟容器启动AM ,该过程中 MR 任务不中断 如何
阅读全文