YARN资源调度框架执行流程
1、执行流程
(1)客户端先提交一个应用程序(数据作业)到YARN上,此时是与RM进行交互。
(2)RM与NM通信,为应用程序(数据作业)分配第一个container
(3)启动container,运行应用程序(数据作业)的AM
(4)双向箭头,AM先注册到RM上,这样客户端可以直接查到作业的运行状况
AM到RM上申请资源,申请到了,箭头回来。
因为RM是全局的资源管理,AM是对应于每一个应用程序的资源管理。
(5)(6)假设运行在三个节点上(NM),AM到第一个NM上去启动container,运行task。
AM到第二个NM上去启动container,运行task。AM到第三个NM上去启动container,运行task
2、注意
其他框架的执行流程同上
区别在于AM的区别,是什么框架的AM。
是YARN框架,就是YARN框架的AM。