Spark 0.9.0启动脚本——启动总结
1. 设置主目录和配置目录
2. 启动Master
sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MASTER_IP --port $SPARK_MASTER_PORT --webui-port $SPARK_MASTER_WEBUI_PORT
3. 启动slaves
单实例:sbin/start-slave.sh 1 spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT
多实例:sbin/start-slave.sh i spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT --webui-port <8081++>
slave机执行命令:sbin/spark-daemon.sh start org.apache.spark.deploy.worker.Worker i spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT --webui-port <8081++>
4. 实际执行命令
bin/spark-class org.apache.spark.deploy.master.Master|org.apache.spark.deploy.worker.Worker spark://xxxxxx:xxxx --webui-port xxxx