Yarn详细的工作流程

yarn工作流程图

yarn详细工作流程

第一步：客户端向ResourceManager 申请运行程序
第二步：ResourceManager 检查是否有运行权限，如果有就会返回jobid和程序提交的资源路径
第三步：根据ResourceManager返回的信息，然后执行
第四步：客户端提交程序的资源到tmp/hadoop-yarn-staging/job_id目录下（jar程序本身，job.split逻辑切规划文件，job.xml mr配置文件）
第五步：申请程序运行的资源
第六步：RM根据请求结合mn 找出一台机器运行AppM
第七步：RM 返回MN位置给客户端
第八步：客服端到指定的NM上，通过NM启动container,运行MrAppMaster
第九步：MrAppMaster启动成功，向rm进行汇报并且注册自己
第十步：MrAppMaster读取tmp/hadoop-yarn-staging/job_id目录下job.split 数据（申请资源的多少）
第十一步： 申请与切片数量相应的container
第十二步：RM根据请求返回X台可以用的容器所在的位置
第十三步：APPM执行NM上启动容器运行maptask,监督程序执行
第十四步：maptask执行结束，APPM向RM汇报，回收资源
第十五步：reduce执行结束，APPM向RM汇报，回收资源
第十六步：所有的task结束后，APPM申请运用结束，注销自己