spark集群管理器

Local模式

Standalone模式（使用Spark自带的内置集群管理器）

YARN模式（使用YARN作为集群管理器）

Mesos模式（使用Mesos作为集群管理器）

 

spark-shell --master <master-url>

  单机
  local 使用一个Worker线程本地化运行SPARK(完全不并行)
  local[*] 使用逻辑CPU个数数量的线程来本地化运行Spark
  local[K] 使用K个Worker线程本地化运行Spark（理想情况下，K应该根据运行机器的CPU核数设定）

  分布式
  spark://HOST:PORT 连接到指定的Spark standalone master。默认端口是7077.
  yarn-client 以客户端模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。
  yarn-cluster 以集群模式连接YARN集群。集群的位置可以在HADOOP_CONF_DIR 环境变量中找到。
  mesos://HOST:PORT 连接到指定的Mesos集群。默认接口是5050。