spark集群运行模式
spark的集中运行模式
Local 、Standalone、Yarn
关闭防火墙:systemctl stop firewalld.service
重启网络服务:systemctl restart network.service
设置静态IP
设置/etc/hosts
192.168.232.133 cent-1 192.168.232.134 cent-2 192.168.232.135 cent-3
配置免密登录在往期的Hadoop配置中已有说明。
一、进入conf配置文件
配置Master
cp slaves.template slaves
vim slaves
cent-2
cent-3
修改spark-env.sh
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_181 export SCALA_HOME=/opt/apps/scala-2.11.8 export HADOOP_HOME=/opt/apps/hadoop-2.7.2 export HADOOP_CONF_DIR=/opt/apps/hadoop-2.7.2/etc/hadoop export SPARK_CONF_DIR=/opt/apps/spark-2.3.1/conf export SPARK_EXECUTOR_MEMORY=2g export SPARK_DRIVER_MEMORY=2g export SPARK_MASTER_HOST=hdc-data1 export SPARK_MASTER_PORT=7077 export SPARK_WORKER_CORES=1 export SPARK_WORKER_MEMORY=2g export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdc-data1:2181,hdc-data2:2181,hdc-data3:2181 -Dspark.deploy.zookeeper.dir=/spark" export SPARK_CLASSPATH=/opt/apps/hbase-1.1.1/lib/* export SPARK_DIST_CLASSPATH=$(/opt/apps/hadoop-2.7.2/bin/hadoop classpath):$(/opt/apps/hbase-1.1.1/bin/hbase classpath)
将主节点配置好的文件,同步到其他从节点
启动集群
cd 到sbin目录下
,/start-all.sh
访问web页面,cent-1:8080
作者:Jace Jin
github地址:https://github.com/buxianghua
原创文章版权归作者所有.
欢迎转载,转载时请在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
欢迎转载,转载时请在文章页面明显位置给出原文连接,否则保留追究法律责任的权利.
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 提示词工程——AI应用必不可少的技术
· 字符编码:从基础到乱码解决
· 地球OL攻略 —— 某应届生求职总结