spark 提交的参数说明

以

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master spark://linux1:7077 \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

为例

1) --class 表示要执行程序的主类

2) --master spark://linux1:7077 独立部署模式，连接到 Spark 集群

3) spark-examples_2.12-3.0.0.jar 运行类所在的 jar 包

4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量