Spark简单集群搭建
1. 上传spark-2.2.0-bin-hadoop2.7.tgz安装包到/home/dtouding目录下
2. 解压安装包到/bigdata/目录下,tar –zxvf spark-2.2.0-bin-hadoop2.7.tgz –C /bigdata/
3. 修改配置文件:
1) mv spark-env.sh.template spark-env.sh
2) mv slaves.template slaves
3) 修改spark-env.sh文件
添加Java的安装路径:export JAVA_HOME=/usr/local/jdk1.8.0_181/ 指定Master:export SPARK_MASTER_HOST=Node-1 指定Master的RPC通信端口:export SPARK_MASTER_PORT=7077 |
4) 修改slaves文件,指定worker
4. 把spark安装目录拷贝到其他两个节点上。
for i in {2..3};do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ Node-$i:/bigdata/;done |
5. 启动:sbin/start-all.sh
6. Spark管理界面:http://192.168.0.111:8080/
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步