|NO.Z.00014|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v14|——|Kylin.v05|Spark-standalone集群模式|core/mamory|
一、集群模式--Standalone模式
### --- 检查集群状态
~~~ # 启动服务
[root@hadoop01 ~]# start-dfs.sh
[root@hadoop01 ~]# start-yarn.sh
[root@hadoop01 ~]# start-all-spark.sh
~~~ # 检查集群状态
[root@hadoop00 ~]# jps
Hadoop01:Master、Worker
Hadoop02:Worker
Hadoop03:Worker
二、使用浏览器查看:http://hadoop01:8080/

三、Standalone配置
### --- 测试在 spark-env.sh 中增加参数,分发到集群,重启服务:
[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh
export SPARK_WORKER_CORES=10
export SPARK_WORKER_MEMORY=20g
[root@hadoop01 ~]# rsync-script $SPARK_HOME/conf/spark-env.sh
[root@hadoop01 ~]# stop-all-spark.sh
[root@hadoop01 ~]# start-all-spark.sh
三、在浏览器中观察集群状态,测试完成后将以上两个参数分别改为10、20g,重启服务。

### --- 修改回默认的配置
~~~ 发送到其它主机并重启服务
[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh
# export SPARK_WORKER_CORES=1
# export SPARK_WORKER_MEMORY=2g
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
——W.S.Landor
分类:
dov005-olap
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· DeepSeek 开源周回顾「GitHub 热点速览」