高效搭建Spark全然分布式集群
写在前面一:
本文具体总结Spark分布式集群的安装步骤,帮助想要学习Spark的技术爱好者高速搭建Spark的学习研究环境。
写在前面二:
使用软件说明
约定,Spark相关软件存放文件夹:/usr/local/yujianxin/spark,
Hadoop相关软件存放文件夹: /home/yujianxin/hadoop。
Spark集群示意图
一、详细安装步骤
1、安装jdk
2、安装Hadoop集群,參考http://blog.csdn.net/aaronhadoop/article/details/24867257
3、安装 Scala
cd /usr/local/yujianxin/spark/
tar -zxvf scala-2.9.3.tgz
改动/etc/profile
4、安装Spark
4.1、改动/etc/profile
cd /usr/local/yujianxin/spark/
tar -zxvf spark-0.7.2-prebuilt-hadoop1.tgz
4.2、配置Spark
4.2.1、改动配置文件spark-env.sh
cd /usr/local/yujianxin/spark/spark-0.7.2/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
4.2.2、改动配置文件slaves
至此,master节点上的Spark已配置完成。把master上Spark相关配置copy到slave1、slave2中,注意,三台机器spark所在文件夹必须一致,由于master会登陆到worker上运行命令,master觉得worker的spark路径与自己一样。
二、安装測试
2.1、通过命令行
cd $SPARK_HOME/bin
start-all.sh
2.2、通过浏览器