7.基于yarn的Spark集群搭建

构造分布式的Spark1.0.2集群

下载Scala 2.10.4，具体下载地址：

http://www.scala-lang.org/download/2.10.4.html

在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；

安装和配置Scala

我们需要在master、slave1以及slave2上分别安装Scala

安装Scala

将Scala安装包拷贝到各台机器上

解压

新建目录/usr/lib/scala

将上述解压之后的文件夹scala-2.10.4拷贝到/usr/lib/scala下

修改配置：vim ~/.bashrc

修改配置/etc/environment，修改PATH，CLASSPATH和JAVA_HOME

在每台机器上安装完成后可以进行一下验证：

下载Spark 1.0.2，具体下载地址：

http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz

在master上安装和配置Spark 1.0.2集群

把下载后“spark-1.0.2-bin-hadoop2.tgz”解压到“/usr/local/spark”目录之下：

新建目录/usr/local/spark

将安装包拷贝到/usr/local/spark下并解压

配置“~/.bashrc”，设置“SPARK_HOME”并把Spark的bin目录加入到PATH之中（修改environment文件），配置完成后使用source命令使配置生效。

修改/etc/environment中的PATH

进入spark的conf目录：

第一步修改slaves文件，首先打开该文件：

我们把slaves文件的内容修改为：

第二步：配置spark-env.sh

首先把spark-env.sh.template拷贝到spark-env.sh：

打开“spark-env.sh”文件

在文件末尾加入以下内容

slave1和slave2采用和master完全一样的Spark安装配置。

启动Spark分布式集群并查看信息。

第一步：启动Hadoop集群，在master使用jps命令， 在slave1和slave2上使用jps

第二步：启动Spark集群

在Hadoop集群成功启动的基础上，启动Spark集群需要使用Spark的sbin目录下“start-all.sh”：

使用jps查看集群信息

在web页面访问Spark集群http://master:8080

从页面上可以看到Work节点及其信息

此时，进入Spark的bin目录，使用spark-shell控制台

此时我们进入了Spark的shell环境，根据输出的信息，我们可以通过“http://master:4040” 从Web的角度看一下SparkUI的情况，如下图所示：

当然，你也可以查看一些其它的信息，例如Environment:

同时，我们也可以看一下Executors：

至此，我们 的Spark集群搭建成功。