spark集群搭建(三台虚拟机)——系统环境搭建(1)

!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下:

virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机)

jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6、kafka_2.9.2-0.8.1、park1.3.1-bin-hadoop2.6

第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录

第二篇:搭建hadoop集群

第三篇:搭建zookeeper集群

第四篇:搭建kafka集群

第五篇:搭建spark集群

一、虚拟机配置

1、下载安装三台虚拟机

我选择的版本是virtualBox5.2、Ubuntu14.04,virtualBox用起来比VMware要轻便些,开关机快很多,个人体会

注意此处三台虚拟机要使用三个镜像文件,分别放三个文件夹中

2、分别配置三台虚拟机静态IP

http://www.cnblogs.com/suwy/p/9436211.html

3、配置虚拟机到本机映射(三台虚拟机)

进入本机目录,打开hosts文件:C:\Windows\System32\drivers\etc

添加虚拟机IP:

192.168.1.124   spark1
192.168.1.123   spark2
192.168.1.125   spark3

cmd进入windows控制台就可以ping通虚拟机了

 

4、可以使用securecrt连接虚拟机 ,操作起来比较方便

参考:https://www.cnblogs.com/suwy/p/9436370.html

5、配置三台虚拟机之间的IP映射

$ vim /etc/hosts

添加如下(三台虚拟机的IP都要添加):

192.168.1.124   spark1
192.168.1.123   spark2
192.168.1.125   spark3

此时三台虚拟机之间可以相互ping通

二 、系统环境

1、安装jdk

2、ssh免密码登录

下载ssh

apt-get install openssh-server

和单机的不同,集群还要设置几台机器之间相互的免密码登录

对本机免密码登录:

$ ssh-keygen -t rsa
$ cd /root/.ssh
$ cp id_rsa.pub authorized_keys

三台机器之间的免密码登录:

$ ssh-copy-id -i  目标主机名

例如:当前机器spark1,要实现对spark2免密码登录,则在spark1命令行输入

$ ssh-copy-id -i spark2
posted @ 2018-08-07 15:26  南边雪  阅读(4777)  评论(0编辑  收藏  举报