spark集群环境搭建基本步骤

1 准备环境
2 安装JDK
3 上传 spark安装包
4 解压 spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置参数）
5 将配置好的 spark安装程序拷贝给其他机器 for i in{5..8}； do scp-r/ biodata/ spark-2.2.0-bin-hadoop2. 7/ node-$i:/biodata:done
6 启动 spark（sbin/ start-all.sh）
问题：Worker怎么知道 Master在嘟里嗯？
7 通过web页面访问 spark管理页面（ master所在机器的地址+8088端口）

 

该方案仍存在单点故障问题，需要引入备用master，但需要结合zookeeper部署，