spark使用

pyspark --master local 私用一个workder线程本地话运行spark(完全不并行)

pyspark --master local[*] 使用逻辑CPU个数数量的线程来本地化运行Spark

pyspark --master local[k] 使用k个worker线程本地话spark(理想情况下，k应该更具运行及其的cpu内核数设定)

pyspark --master spark://HOST:PORT 连接到指定的Spark standalone master。默认端口是7077

pyspark --master yarn-client 以客户端模式连接YARN集群，集群的位置可以在HADOOP_CONF_DIR环境变量中找到

pyspark --master yarn-cluster 以集群模式连接YARN集群，集群的位置可以在HADOOP_CONF_DIR环境变量中找到

pyspark --master mesos://HOST:PORT 连接到指定的Mesos集群，默认端口是5050