7.spark运行模式

 

sparkbin目录下

    ./pyspark --help  

 

 

http://spark.apache.org/docs/latest/submitting-applications.html

 

local模式

 

 

 

 

spark-env.sh 在$SPARK_HOME/conf下

 

 

yarn模式不需要启动master和worker

standalone:你的额spark集群上每个节点都需要部署spark，然后需要启动spark集群（需要启动master和worker）

 

 

Ensure that HADOOP_CONF_DIR or YARN_CONF_DIR points to the directory which contains the (client side) configuration files for the Hadoop cluster. 

 

在$SPARK_HOME/conf/spark-env.sh

 

 

 

 

 

可查看执行状态

 

 

driver在local才能进行交互式运行，只能运行client模式

 

 

Debugging your Application

yarn logs -applicationId <app ID>