SparkOnYarn

Spark On Yarn的本质?

Master角色由YARN的ResourceManager担任.

Worker角色由YARN的NodeManager担任.

Driver角色运行在YARN容器内 或 提交任务的客户端进程中

真正干活的Executor运行在YARN提供的容器内

Spark On Yarn需要啥?

1.需要Yarn集群:已经安装了

2.需要Spark客户端工具, 比如spark-submit, 可以将Spark程序提交到YARN中

3.需要被提交的代码程序:，如spark/examples/src/main/python/pi.py此示例程序,或我们后续自己开发的Spark任务