yarn运行流程
1. 介绍
- Yarn是一个分布式资源调用系统,专门用来负责给分布式计算程序分配计算资源
- ResourceManager整个集群的管理者,负责分配资源
- NodeManager是Yarn集群的打工者,负责接受RM的指令,准备计算资源,用于运行分布式计算程序
- YARN运行一个分布式任务之后,还会出现两个组件
-- ApplicationMaster:运行一个mapreduce、spark、flink程序,首先YARN会针对计算程序专门启动一个用于负责成功运行的master管理者。
-- Container:容器,计算需要的资源。资源RM分配,NM真正提供,NM不是直接把资源给计算任务,而是先把RM需要分配的计算资源打包成一个容器,
打包成为容器之后,交给AM去运行针对性的任务。
2. YARN运行资源
3. 调度器
- 先进先出调度器
先到的任务先执行 - 容器调度器
分为多个分区,均为先到先执行 - 公平调度器
所有的任务均能够得到资源,根据优先级分配资源,花费的时间多
4. yarn的运行程序的记录问题
配置yarn的历史日志记录,可以将YARN上运行的YARN重启多少次,记录都不会丢失
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16529517.html