117学习总结

spark的架构角色

yarn角色回顾

资源管理层面：

1.集群资源管理者（master）：ResourceManager

2.单机资源管理者（worker）：NodeManager

任务计算层面：

单任务管理者（master）：ApplicationMaster

单任务执行者（worker）：Task（容器内计算款家的角色）

spark运行角色

资源层面：

1.master角色：集群资源管理

2.worker角色：单机资源管理

任务运行层面：

1.driver：单个任务的管理

2.excutor：单个任务的计算（干活的）

特殊场景下（local模式）driver可以及管理又干活