摘要：
1. 判断是否cygwin环境2. 设置SCALA_VERSION3. 设置SPARK_HOME4. 执行conf/spark-env.sh5. 设置EXAMPLES_DIR为example目录，设置SPARK_EXAMPLES_JAR为example/target/scala-$SCALA_VERSION/*assembly*[0-9Tg].jar，不存在则提示并退出6. CLASSPATH=$SPARK_EXAMPLES_JAR:7. 检测java，JAVA_HOME->java命令->退出8.JAVA_OPTS="$SPARK_JAVA_OPTS-Djava.lib 阅读全文
摘要：
1. 使用方法：spark-daemon.sh [--config ] (start|stop) 2. 读取conf/spark-env.sh，获取配置变量3. 获取SPARK_IDENT_STRING，默认为当前用户名4. 设置SPARK_PRINT_LAUNCH_COMMAND为15. 获取SPARK_LOG_DIR，默认为logs目录。创建该目录，检测目录权限并设置6. 获取SPARK_PID_DIR，默认为/tmp目录7. 设置日志文件名、输出文件名、PID文件名、日志级别8. 获取SPARK_NICENESS，默认为0start命令：1. 如果PID文件存在，使用kill -0... 阅读全文
摘要：
1. 设置主目录和配置目录2. 启动Mastersbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MASTER_IP --port $SPARK_MASTER_PORT --webui-port $SPARK_MASTER_WEBUI_PORT3. 启动slaves单实例：sbin/start-slave.sh 1 spark://$SPARK_MASTER_IP:$SPARK_MASTER_PORT多实例：sbin/start-slave.sh i spark://$SPARK_MAS 阅读全文
摘要：
1. 检查$SPARK_PUBLIC_DNS并设置，与EC2有关，略...2. 执行sbin/start-daemon.shstart org.apache.spark.deploy.worker.Worker "$@" 阅读全文
摘要：
1. 如果参数小于1，返回。格式：slaves.sh [--config ] command...2. 执行sbin/spark-config.sh，加载基本环境变量3. 设置HOSTLIST为变量$SPARK_SLAVES的值4. 如果存在，获取--config参数，即配置文件目录，目录不存在则返回5. 执行conf/spark-env.sh6. 如果HOSTLIST为空，则设置为conf/slaves7. 设置ssh参数为“-o StrictHostKeyChecking=no”8. 加载$HOSTLIST文件中的列表地址，使用ssh登录并执行脚本参数传入的命令command9. slee 阅读全文