Spark实战(八)spark的几种启动方式

spark常用的启动方式

一、Local(本地模式)

   Spark单机运行,一般用于开发测试。可以通过Local[N]来设置,其中N代表可以使用N个线程,每个线程拥有一个core。如果不指定N,则默认是1个线程(该线程有1个core)。spark-submit 和 spark-submit --master local 效果是一样的,同理spark-shell 和 spark-shell --master local 效果是一样的
   运行该模式非常简单,只需要把Spark的安装包解压后,改一些常用的配置即可使用,而不用启动Spark的Master、Worker守护进程,也不用启动Hadoop的各服务(除非需要用到HDFS)
   这个SparkSubmit进程既是客户提交任务的Client进程、又是Spark的driver程序、还充当着Spark执行Task的Executor角色。
   示例如下:

spark-submit --class JavaWordCount --master local[10] JavaWordCount.jar file:///tmp/test.txt 

代码中设置:
spark = SparkSession\
            .builder\
            .appName("PythonWordCount")\
            .master("local")\
            .getOrCreate()

sc = spark.sparkContext
parsed =urllib.parse.urlparse("http://www.baidu.com")
print(parsed.netloc)

spark-submit --master local[2] 代表会有2个线程(每个线程一个core)来并发执行应用程序。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

本地伪集群运行模式:

spark-submit --master local-cluster[2, 3, 1024]
  • 1

   上面这条命令代表会使用2个executor进程,每个进程分配3个core和1G的内存,来运行应用程序。SparkSubmit依然充当全能角色,又是Client进程,又是driver程序,还有点资源管理的作用。生成的两个CoarseGrainedExecutorBackend,就是用来并发执行程序的进程。

二、Standalone模式

1.Spark自带Cluster Manager的Standalone Client模式:

   构建一个由Master+Slave构成的Spark集群,Spark运行在集群中。和单机运行的模式不同,这里必须在执行应用程序前,先启动Spark的Master和Worker守护进程。这种运行模式,可以使用Spark的8080 来观察资源和应用程序的执行情况了。
   启动示例如下:

spark-submit --master spark://mini1:7077或者 spark-submit --master spark://mini1:7077 --deploy-mode client

 spark = SparkSession\
             .builder\
             .appName("PythonWordCount")\
             .master("spark://mini1:7077")\
             .getOrCreate()
     sc = spark.sparkContext
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

2.spark自带cluster manager的standalone cluster模式(集群):

   示例如下:

spark-submit --master spark://mini1:6066 --deploy-mode cluster
  • 1

   客户端的SparkSubmit进程会在应用程序提交给集群之后就退出,同时Master会在集群中选择一个Worker进程生成一个子进程DriverWrapper来启动driver程序,而该DriverWrapper 进程会占用Worker进程的一个core,所以同样的资源下配置下,会比第3种运行模式,少用1个core来参与计算。
   

三、Spark on Yarn模式

1.基于YARN的Resource Manager的Client模式(集群)

   Spark客户端直接连接Yarn。不需要额外构建Spark集群。现在越来越多的场景,都是Spark跑在Hadoop集群中,所以为了做到资源能够均衡调度,会使用YARN来做为Spark的Cluster Manager,来为Spark的应用程序分配资源。
   按照Spark应用程序中的driver分布方式不同,Spark on YARN有两种模式: yarn-client模式、yarn-cluster模式。当在YARN上运行Spark作业,每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。
   使用如下命令执行应用程序:

spark-submit --master yarn 
或者 spark-submit --master yarn --deploy-mode client
  • 1
  • 2

   在Resource Manager节点上提交应用程序,会生成SparkSubmit进程,该进程会执行driver程序。
   RM会在集群中的某个NodeManager上,启动一个ExecutorLauncher进程,来做为ApplicationMaster。另外,也会在多个NodeManager上生成CoarseGrainedExecutorBackend进程来并发的执行应用程序。

2.基于YARN的Resource Manager的Custer模式(集群)

   使用如下命令执行应用程序:

spark-submit --master yarn --deploy-mode cluster
  • 1

   在Resource Manager端提交应用程序,会生成SparkSubmit进程,该进程只用来做Client端,应用程序提交给集群后,就会删除该进程。
   Resource Manager在集群中的某个NodeManager上运行ApplicationMaster,该AM同时会执行driver程序。紧接着,会在各NodeManager上运行
   应用程序的结果,会在执行driver程序的节点的stdout中输出,而不是打印在屏幕上。

 conf = SparkConf()
    conf.setAppName("Spark")
    conf.setMaster('yarn') # spark standalone
    conf.set('spark.executor.instances', 3) # cluster on yarn
    conf.set('spark.executor.memory', '1g')
    conf.set('spark.executor.cores', '1')
    # conf.set('spark.cores.max', '2')
    # conf.set('spark.logConf', True)
    conf.set('spark.streaming.blockInterval', 1000*4)  # restart receiver interval

sc = SparkContext(conf = conf)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

四、Spark on Mesos模式

   Spark客户端直接连接Mesos。不需要额外构建Spark集群。
   启动示例如下

./spark-shell --master mesos://host:port
./spark-shell --master mesos://host:port --deploy-mode client
./spark-shell --master mesos://host:port --deploy-mode cluster

posted on 2021-01-23 18:46  ExplorerMan  阅读(1774)  评论(0编辑  收藏  举报

导航