spark环境搭建

搭建的模式为：standalone集群模式

前提已经安装了hadoop集群。

spark搭建(此处安装spark的节点为node5,node6,node7,安装路径为/opt)

一、安装scala

　　1、从Scala官网下载Scala2.11.7版本安装包，解压到/opt/scala目录下。版本和解压目录可以根据实际情况选择）

　　2、配置scala环境变量，vi /etc/profile（在文件中增加以下内容）

　　export SCALA_HOME=/opt/scala

　　export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$PATH

　　3、使配置生效：source /etc/profile

　　4、验证scala是否安装成功：

　　[hadoop@Mars ~]$scala -version
　　Scala code runner version 2.11.7 --Copyright 2002-2013, LAMP/EPFL
　5、分发安装包到其余节点：scp -r /opt/scala/ node6:/opt/    scp -r /opt/scala/ node7:/opt
　　 拷贝/etc/profile 到其余节点，并使配置生效  
　　　　scp /etc/profile node6:/etc/   scp /etc/profile node6:/etc/   source /etc/profile
  二、安装spark
　　1、下载Spark1.6.0安装包spark-1.6.0-bin-hadoop2.4.tgz，解压至/opt/spark目录。（版本和目录可以根据实际情况选择）
　　2、配置环境变量：vi /etc/profile
　　　　　 在文件最后添加：
　　　　　　export SPARK_HOME=/opt/spark
　　　　　　export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH　　
　　3、使配置生效： source /etc/profile
　　4、修改spark配置文件 cd /opt/spark/conf
      1）cp spark-env.sh.template spark-env.sh
　　　　　　vi spark-env.sh 在文件最后添加如下内容：
　　　　　　　　export JAVA_HOME=/usr/soft/jdk1.7.0_71（环境中的实际jdk安装路径）
　　　　　　　　export SPARK_MASTER_IP=spark001
　　　　　　　　export SPARK_MASTER_PORT=7077
　　　　　　　　export SPARK_WORKER_CORES=1
　　　　　　　　export SPARK_WORKER_INSTANCES=1
　　　　　　　　export SPARK_WORKER_MEMORY=1g
　　　 2）cp slaves.template slaves
　　　　　　vi slaves
　　　　　　node6
　　　　　　node7
　　5、同步spark和/etc/profile到node6和node7
　　　　scp -r /opt/spark/ node6:/opt/    scp -r /opt/spark/ node7:/opt/
　　　　scp /etc/profile node6:/etc/   scp /etc/profile node6:/etc/   
　　　　在node6和node7执行以下语句，使配置生效
        source /etc/profile
　　6、启动hadoop集群
　　7、启动spark集群 start-all.sh
　　8、验证是否启动成功
　　　　jps node5上多了Master进程，node6和node7上多了Worker进程
       通过http://node5:8080/ 查看spark master的页面