spark伪分布式搭建(standlone)
spark伪分布式搭建
# 配置环境
[root@node1 spark-2.3.1]# vi /etc/profile
{
export SPARK_HOME=/opt/app/spark-2.3.1
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
}
[root@node1 spark-2.3.1]# source /etc/profile
# 重命名
[root@node1 conf]# mv spark-env.sh.template spark-env.sh
# 重命名
[root@node1 conf]# mv slaves.template slaves
[root@node1 conf]# pwd
/opt/app/spark-2.3.1/conf
[root@node1 conf]# vi slaves
{
node1
}
[root@node1 conf]# vi spark-env.sh
{
SPARK_MASTER_HOST=node1
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=8888
}
[root@node1 sbin]# pwd
/opt/app/spark-2.3.1/sbin
[root@node1 sbin]# vi spark-config.sh
{
export JAVA_HOME=/opt/app/jdk1.8.0_321
}
# 防止与hadoop的命令冲突
[root@node1 sbin]# mv start-all.sh start-spark-all.sh
[root@node1 sbin]# mv stop-all.sh stop-spark-all.sh
[root@node1 sbin]# start-spark-all.sh
[root@node1 sbin]# stop-spark-all.sh
spark完全分布式搭建
操作和伪分布式一致,就是在slaves中多增加几台worker节点即可
访问spark
http://node1:8888/
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16601239.html