|NO.Z.00014|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v14|——|Kylin.v05|Spark-standalone集群模式|core/mamory|

一、集群模式--Standalone模式
### --- 检查集群状态

~~~     # 启动服务
[root@hadoop01 ~]# start-dfs.sh 
[root@hadoop01 ~]# start-yarn.sh
[root@hadoop01 ~]# start-all-spark.sh
~~~     # 检查集群状态

[root@hadoop00 ~]# jps

Hadoop01:Master、Worker
Hadoop02:Worker
Hadoop03:Worker
二、使用浏览器查看:http://hadoop01:8080/

三、Standalone配置
### --- 测试在 spark-env.sh 中增加参数,分发到集群,重启服务:

[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh

export SPARK_WORKER_CORES=10
export SPARK_WORKER_MEMORY=20g
[root@hadoop01 ~]# rsync-script $SPARK_HOME/conf/spark-env.sh
 
[root@hadoop01 ~]# stop-all-spark.sh 
[root@hadoop01 ~]# start-all-spark.sh  
三、在浏览器中观察集群状态,测试完成后将以上两个参数分别改为10、20g,重启服务。

### --- 修改回默认的配置
~~~     发送到其它主机并重启服务

[root@hadoop01 ~]#  vim $SPARK_HOME/conf/spark-env.sh
# export SPARK_WORKER_CORES=1
# export SPARK_WORKER_MEMORY=2g

 
 
 
 
 
 
 
 
 

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
                                                                                                                                                   ——W.S.Landor

 

posted on   yanqi_vip  阅读(17)  评论(0编辑  收藏  举报

相关博文:
阅读排行:
· 全程不用写代码,我用AI程序员写了一个飞机大战
· MongoDB 8.0这个新功能碉堡了,比商业数据库还牛
· 记一次.NET内存居高不下排查解决与启示
· 白话解读 Dapr 1.15:你的「微服务管家」又秀新绝活了
· DeepSeek 开源周回顾「GitHub 热点速览」
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示