spark1.2.0安装

---

standalone

---

 

安装SCALA

下载、解压、加入环境变量

---

安装spark1.2.0

下载、解压、加入环境变量

tar zxvf spark-1.2.0-bin-2.2.0.tgz

export SPARK_HOME=/home/hadoop/spark-1.2.0-bin-2.2.0
export PATH=$PATH:$SPARK_HOME/bin

export SCALA_HOME=/home/hadoop/scala-2.11.4
export PATH=$PATH:$SCALA_HOME/bin

在spark目录下的conf目录中

cp spark-env.sh.template spark-env.sh
vi spark-env.sh

在最下面加入

export SCALA_HOME=/home/hadoop/scala-2.11.4
export JAVA_HOME=/home/hadoop/jdk1.7.0_71
export SPARK_MASTER_IP=hadoop
export SPARK_WORKER_MEMORY=1000m
export HADOOP_CONF_DIR=/home/hadoop/hadoop2.2.0/etc/hadoop

在spark目录下的conf目录中

cp slaves.template slaves
vi slaves

加入集群中的worker机器IP或者名称

启动（可以分开启动，也可以一起启动）：

sbin/start-all.sh

测试

bin/run-example SparkPi

---

关于spark的介绍，我觉得下面这篇文章介绍的很好

http://www.aboutyun.com/thread-11413-1-1.html

---