Spark的精简安装步骤---陈楠心血总结

1.下载解压

（1）安装Scala-2.10.4并解压

（2）/etc/profile加入PATH路径 

（3）source /etc/profile使PATH的配置生效

（4）下载并解压spark-1.2.0.bin-hadoop1.tar.gz

（5）/etc/profile加入PATH路径

（5）source /etc/profile使PATH的配置生效

---

 

2.配置conf/spark-env.sh加入以下参数

export JAVA_HOME=/usr/local/jdk

export SCALA_HOME=/usr/local/scala

export SPARK_WOKER_MEMORY=2g

export SPARK_MASTER_IP=192.168.80.103

---

 

3在conf/slaves配置slave文件，加入从节点

hadoop1

hadoop2

---

 

4：启动:

（1）先启动start-dfs.sh，只需要启动hdfs即可，不需要start-all.sh

（2）再执行sbin目录下的start-all.sh脚本即可   一定要注意是./    当前目录start-all.sh  因为hadoop也有start-all.sh

./sbin/start-all.sh

注意区分是在bin目录下和sbin目录下

---

 5：spark shell脚本运行

cd   /usr/local/spark/bin

>spark shell

---

 

6.运行:执行bin目录下的脚本例子

./bin/run-example  org.apache.spark.examples.SparkPi

 

---

 

---

 7验证：

web验证：spark：8080