Spark脚本调用

Spark提供了多个脚本来作为程序的入口,其中最常用的是交互脚本 spark-shell, pyspark,还有spark sql的客户端spark-sql。 这些脚本最后都会归结到对SparkSubmit类的调用。

下图是spark-shell的调用流程

 

 

下图是spark-sql的调用流程

 

可以看出最后的程序入口都是SparkSubmit.main, 在该入口中会根据传入的参数不同而进入不同的类。

posted @ 2015-11-13 11:53  木石头  阅读(1055)  评论(0编辑  收藏  举报