Spark在Local环境下的使用

①    将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux (cd /opt/module路径下)并解压缩

 

②    修改spark-3.0.0-bin-hadoop3.2名称为spark-local

mv spark-3.0.0-bin-hadoop3.2/ spark-local

③    进入spark-local

cd spark-local/

 

④    启动local环境

bin/spark-shell

 

⑤    Web页面访问：master:4040

 

⑥    命令行的使用

sc.textFile("data/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

 

⑦    提交应用（cd /opt/module/spark-local路径下）

1) --class 表示要执行程序的主类，可以更换为自己写的应用程序

2) --master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟 CPU 核数量

3) spark-examples_2.12-3.0.0.jar 运行的应用类所在的 jar 包，可以设定为自己打的 jar 包

4) 数字 10 表示程序的入口参数，用于设定当前应用的任务数量

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master local[2] \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10

 

⑧    退出本地模式

:quit