spark集群搭建

Spark 集群：
环境条件：   

　　node01 Master
　　node02 worker
　　node03 worker
　　node04 客户端，不需要做任何配置
【1】创建文件夹
　　mkdir /software/spark
【2】上传压缩包spark-1.6.0-bin-hadoop2.6.tgz到/software/spark
【3】解压压缩包
　　tar zxvf spark-1.6.0-bin-hadoop2.6.tgz
【4】重命名解压包为spark-1.6.0
　　mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0
【5】在slaves配置worker
　　cp slaves.template slaves
　　vi slaves
　　　　node02
　　　　node03
【6】配置spark-env.sh
　　cp spark-env.sh.template spark-env.sh
　　vi spark-env.sh
　　　　export SPARK_MASTER_IP=node01
　　　　export SPARK_MASTER_PORT=7077
　　　　export SPARK_WORKER_CORES=2
　　　　export SPARK_WORKER_MEMORY=3g
【7】分发
　　scp -r spark-1.6.0/ node02:`pwd`
　　scp -r spark-1.6.0/ node03:`pwd`
　　scp -r spark-1.6.0/ node04:`pwd`
【8】web查看
　　http://node01:8080/