导航

安装Spark时遇见的坑

Posted on 2020-11-28 10:34  乔伊_413  阅读(294)  评论(0编辑  收藏  举报

在安装独立部署模式中遇见的坑:

步骤一:

  解压安装:tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /你的目标安装目录  #最好是从根目录跟踪

步骤二:

  改文件名并修改配置文件:

  注意:这里slaves中当时我的里面有一个localhost 没有注释,所以导致了Master节点出现了两个Worker,一定要注释 或者 删除

# 首先将slaves.template 和 spark-env.sh.template 改名字
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

# 修改slaves 添加你的节点名
#localhost # 一定要保证这里注释 或者 删除 hadp01 hadp02 hadp03 # 修改 spark
-env.sh 添加Java环境 设置主节点名 端口号 export JAVA_HOME=/opt/module/jdk # 你的JAVA_HOME SPARK_MASTER_HOST=hadp01 # 这里的hadp01是我的节点一的hostname SPARK_MASTER_PORT=7077 # spark 端口号

我搜索了一下解决方法,里面有一个在 spark/sbin/spark-config.sh 中添加Java的环境

但是这里跟两个Worker没有直接的关系,不属于这里的坑,所以我就不赘述了

步骤三:

  分发到其他节点:

[root@hadp01 spark]# xsync spark/  # xsync 是集群间的分发文件脚本,详细内容参见本人的HDFS学习之路

 

步骤四:

  启动:

# 注意:没有配置环境变量,只能在Spark路径下来启动
[root@hadp01 spark]# sbin/start-all.sh