Spark安装

记录安装Spark环境的过程。

前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装

环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.0

1、获取Spark源码，可以去官网下载，解压。

2、编译源码。

1）先安装Maven。

2）进入源码目录，执行：

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

mvn -Pyarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTests clean package

3、生成部署包。

如果生成spark支持yarn、hadoop2.2.0的部署包，执行：

./make-distribution.sh --hadoop 2.2.0 --with-yarn --tgz

4、部署

1）修改conf/slaves，添加节点名称，类似Hadoop配置。

2）修改conf/ spark-env.sh。

export SPARK_MASTER_IP=hadoop1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=3g

3）拷贝到各个节点