新手入门-虚拟机中docker下安装Spark集群尝试

一、按照网络教程安装VM15

　　可参考：https://blog.csdn.net/Fly_1213/article/details/90897738

二、按照网络教程，VM安装 ubuntu-18.04.4 桌面版，桌面版是图形化界面，相对新手来说比较友好

　　可参考：https://www.jianshu.com/p/55bb32be385e

　　安装完成后，建议安装 VMware Tools

 　  安装完成并重启，用默认账号进入，并使用终端设置root用户密码，后面的操作都需要用root用户。

　　设置root用户密码步骤：

　　1、打开终端，输入 sudo passwd root 命令

　　2、输入当前用户密码进行验证

　　3、输入UNIX密码及确认密码（这个密码就是root用户的密码）

　　

 

四、终端登录root用户，并安装 docker

　　1、终端登录root用户

　　　　su

　　　　输入密码

　　　　cd （切换路径到root目录）　　

　　

 

　　2、安装docker

　　sudo apt-get install -y docker.io  -- 安装docker

　　docker --version -- 验证docker版本，确认是否安装成功

　　systemctl start docker -- 启动docker

　　systemctl enable docker -- 设置开机启动

　　

五、docker中安装 ubuntu 镜像

　　docker pull daocloud.io/library/ubuntu:latest

 

六、启动一个 ubuntu镜像的容器，并安装 java8、Zookeeper、 Hadoop、Spark、Scala

　　因为网上教程都比较早，提供的一些链接无效，或者都是外网，直接wget安装速度较慢，建议使用迅雷下载后，在虚拟机中直接使用。

　　这里使用的各种包如下：

　　jdk-8u5-linux-x64.tar.gz    链接：https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html   现在需要登录后才能下载

　　zookeeper-3.4.9.tar.gz     链接：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz

　　hadoop-2.7.7.tar.gz          链接：http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

　　spark-2.2.0-bin-hadoop2.7.tgz     链接：https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz

　　scala-2.11.11.tgz              链接：https://downloads.lightbend.com/scala/2.11.11/scala-2.11.11.tgz

　　

　　下载后，复制到虚拟机的目录中，这里为了方便，直接放到了 root 目录下

 

　　1、因ubuntu 的 apt 源为国外地址，下载速度比较慢，这里先修改ubuntu虚拟机的下载源

　　　　a、备份原文件：

　　　　　　sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak

　　　　b、编辑源列表文件：

　　　　　　gedit /etc/apt/sources.list

　　　　c、将原来的列表情况，添加以下内容并保存：　

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

 

　　　　d、执行 apt update

　　　　e、尝试安装 vim ，如果报错   vim : 依赖: vim-common (= 2:7.4.1689-3ubuntu1.4) 但是 2:8.0.1453-1ubuntu1.1 正要被安装

 　　　　　　参考这里解决：https://www.cnblogs.com/flash-player/p/10274783.html

 

 

　　2、启动一个容器，并挂载本地Linux系统的etc/apt文件，将虚拟机中的 源列表文件复制到容器中

　　docker run -ti -v /etc/apt/:/home/etc daocloud.io/library/ubuntu:latest

　　　　

　　

　　删除容器下的sources.lis   rm /etc/apt/sources.list

　　将本地sources.list 复制过来 cp /home/etc/sources.list  /etc/apt/

　　

　　在安装各工具之前，先安装一些工具（容器中）

　　apt update  -- 更新

　　apt install wget -- 安装 wget，下载工具

　　apt install vim -- 安装 vim ，文档编辑工具

　　apt install net-tools -- 网络工具，如 ifconfig

　　apt install iputils-ping -- ping工具，如 ping 

 

　　3、新建目录 /root/soft/ ，用于存放下载的压缩包

　　exit 退出容器

　　docker cp /root/文件名 容器id:/root/soft/  -- 使用此命令复制文件到容器中，如：

　　　　docker cp /root/jdk-8u5-linux-x64.tar.gz b4edbc5885c5:/root/soft

　　复制完成后，进入container

　　 　　docker start -i b4edbc5885c5

　　查看文件是否已复制

　　　　cd /root/soft

　　　　ls

　　

　　4、安装 java8

mkdir -p /usr/lib/jvm/oracle_jdk8
cd /root/soft
tar -zxf jdk-8u5-linux-x64.tar.gz -C /usr/lib/jvm/oracle_jdk8
update-alternatives --install /usr/bin/java java /usr/lib/jvm/oracle_jdk8/jdk1.8.0_05/jre/bin/java 2000
update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/oracle_jdk8/jdk1.8.0_05/bin/javac 2000
update-alternatives --config java
update-alternatives --config javac
 
export J2SDKDIR=/usr/lib/jvm/oracle_jdk8/jdk1.8.0_05
export J2REDIR=/usr/lib/jvm/oracle_jdk8/jdk1.8.0_05/jre
export PATH=$PATH:/usr/lib/jvm/oracle_jdk8/jdk1.8.0_05/bin:/usr/lib/jvm/oracle_jdk8/jdk1.8.0_05/db/bin:/usr/lib/jvm/oracle_jdk8/jdk1.8.0_05/jre/bin
export JAVA_HOME=/usr/lib/jvm/oracle_jdk8/jdk1.8.0_05
export DERBY_HOME=/usr/lib/jvm/oracle_jdk8/jdk1.8.0_05/db

java -version

　　 

　　5、安装其他的准备工作

　　　　新建部分目录　　　　

cd soft
mkdir apache
mkdir scala  #这个目录是用来安装 scala 的
cd apache
mkdir zookeeper  # 安装zookeeper
mkdir hadoop  # 安装 hadoop
mkdir spark  # 安装 spark

　　zookeeper-3.4.9.tar.gz  文件移动至  /root/soft/apache/zookeeper/

　　hadoop-2.7.7.tar.gz      文件移动至  /root/soft/apache/hadoop/

　　spark-2.2.0-bin-hadoop2.7.tgz   文件移动至  /root/soft/apache/spark/

　　scala-2.11.11.tgz          文件移动至  /root/soft/scala/

 

　　6、安装 Zookeeper　　

　　　　参考：https://www.jianshu.com/p/ee210190224f     安装 Zookeeper  部分　　　

 

　　7、安装 Hodoop

　　　　参考：https://www.jianshu.com/p/ee210190224f     安装 Hadoop   部分

　　　　注意设置 JAVA_HOME，及 hadoop的文件夹，这里使用的是 hadoop-2.7.7

　　　　多加一步，修改 hdoop-env.sh 中的  JAVA_HOME，为 /usr/lib/jvm/oracle_jdk8/jdk1.8.0_05 ，避免后面启动时异常

　　　　参考：https://blog.csdn.net/dianzishijian/article/details/52094569

　　

　　8、 安装 Spark

　　　　参考：https://www.jianshu.com/p/ee210190224f   安装 Spark 部分

 

　　9、安装 Scala

　　　　参考：https://www.jianshu.com/p/ee210190224f   安装 Scala 部分

 

　　10、安装 SSH, 配置无密码访问集群其它机器

　　　　参考：https://www.jianshu.com/p/ee210190224f    安装SSH 部分

　　　　这里需要注意的是，报错的目录，报错的是哪个路径，建哪个路径即可。 　　　　

 

　　11、集群配置，参考 https://www.jianshu.com/p/ee210190224f    保存镜像副本  部分以后即可。

 

 

　　最后。。。。。。还是没有运行起来，直接把VM干死机了。等查到原因再来补充~