Spark_3：Spark集群搭建

本文转载自：

（1）在阿里云上搭建 Spark 实验平台

（2）阿里云Centos7.3上 Spark2.3集群的搭建（ok！！！）

（3）搭建Spark集群服务器

（4）Spark集群搭建

 

之前搜的其他博客中都没有具体的关于阿里云上 spark集群的搭建的完整的笔记，自己也是找了好多不同笔记，其中掺杂好的坏的，综合他人的自己亲自搭建出来，做个笔记。

两台 阿里云服务器 Centos7.3 

首先是在前面的在阿里云上hadoop2.7.6集群已经搭建成功的基础之上再搭建spark集群

查看之前  在阿里云上Hadoop2.7.6的搭建笔记

需要的就是先下载  Spark2.3 的安装包

安装scala具体去看之前的笔记里面   包括有scala的安装笔记

下载了spark2.3 之后，解压

wget http://mirrors.hust.edu.cn/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz 

tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz

 

配置环境变量

vim /etc/profile

这个里面的path部分可以自己合并

让环境变量生效

source /etc/profile

需要修改配置文件  

需要拷贝一份 spark-env.sh

vim  spark-env.sh 在最后添加

再就是修改slaves

vim slaves

添加自己修改之后master的hostname和 worker 节点的 hostname

再就是将主节点和从节点里面的配置  

vim   /etc/hosts 

具体看之前的笔记   hosts的配置

最后就是需要将主节点的端口 8080、7077打开，进入到阿里云 控制台

然后就是进入到spark 的sbin目录之下  ./start-all.sh

查看主从节点的jps

主节点

从节点

打开浏览器输入master节点ip:8080 验证：

阿里云服务器的 spark集群初步搭建成功！！！