spark3 在ubuntu 20 (VirtualBox)离线安装过程

1.下载Spark 3 带 Hadoop 版本

2. 设置VirualBox 虚拟文件夹

3.Copy Spark 3 到共享目录

4.ubuntu 要先安装Jdk1.8

5.要安装SSH,参照 https://www.cnblogs.com/chjie/p/10833873.html

 Ubuntu 20 要安装 openssh-server_8.2p1-4ubuntu0.1_amd64.deb和openssh-sftp-server_8.2p1-4ubuntu0.1_amd64.deb 版本,

 网址:https://pkgs.org/download/openssh-server,安装步骤参照上述,参照 https://my.oschina.net/billyhu/blog/912627

6.Scala不必安装

7.可能要设置etc/hosts

8.进入shell ,会出现scala>

9. 如果出现“spark 在启动的时候出现JAVA_HOME not set

解决方法:在sbin目录下的spark-config.sh 中添加对应的jdk 路径,然后使用scp -r 命令复制到各个worker节点

 

posted @ 2020-09-03 15:39  InvApp  阅读(266)  评论(0编辑  收藏  举报