hadoop yarn组件介绍

Yarn的产生

mapReduc1.0

 

1单点故障

2扩展效率低

3资源利用率高

降低运维成本

方便数据共享

多计算框架支持

MapReduce

Spark

Storm

 

Yarn的架构图

 

Yarn模块介绍

ResourceManger

   负责集群资源的统一管理和调度

   处理客户端请求

  启动/监控ApplicationMaster

  监控NodeManager

  资源的分配与调度

NodeManager

  负责单点资源的管理和使用

  处理来自ResourceManager的命令

  处理来自ApplicationMaster的命令

ApplicationMaster

  负责应用程序的管理

  数据的切分

  为应用程序申请资源。并进一步分给内部任务

  任务的监控与容错

Container

  任务环境的抽象

  任务运行的资源

  任务启动命令

  任务运行环境

Yarn资源调度器

  多类型资源调度

Drf算法

Cpu和内存两种资源

  提供多种资源调度

   Fifo

   队列 capaity Scheduler

   Fair Scheduler

多租户的资源调度器

   支持资源按比例分配

   支持层级队列的划分

   支持资源的枪占

Yarn 资源隔离方案

 内存绝定生死

 Cpu决定快慢

 

 

 

Yarn运行流程的描述

1由client端向ResourceManager 发送请求，

2 ResourceManager启动一个Contariner（容器）用于运行ApplicationMaster

3 ApplicationMaster启动完成后会向ResourceManager建立心跳机制

4 当处理机制不够时，ApplicationMaster会向ResourceManager发送申请请求

5 当ResourceManager接收到请求后会查询可用的contariner让后发送ApplicationMaster

6 由ApplicationMaster进行初始化，AplicationMaster与对应的nodeManage通信

要求nodeManager启动Contarner aplicationMaster与nodeManger建立心跳机制

从而对nodeManager运行的任务进行监控和管理

7 contariner运行期间，ApplicationMaster对Contariner进行监控，contarner通过rpc协议

向对应的ApplicationMaseter汇报自己的状态和进度

8运行期间client 直接与ApplicationMaster通信获取状态，进度

9 结束后ApplicationMaster会向ResourceManager汇报并且注销自己，并允许所属的Contariner收回