【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(2)

进入第二台机器,看一下这台主机的IP地址:

可以看出这台主机的IP地址是“192.168.184.131”.

我们在/etc/hostname中把主机名称修改为“Slave1”:

保存退出。

为了使修改生效,我们重新启动该机器,此时查看主机名:

表明我们的修改生效了。

进入第三台机器,看一下这台主机的IP地址:

可以看出这台主机的IP地址是“192.168.184.132”.

我们在/etc/hostname中把主机名称修改为“Slave2”:

保存退出。

为了使修改生效,我们重新启动该机器,此时查看主机名:

表明我们的修改生效了。

 

现在, Slave1上的/etc/hosts中配置主机名和IP地址的对应关系,打开后:

此时我们修改为配置文件为:

把“Master”和“Slave1”和“Slave2”的主机名和IP地址的对应关系都配置进去。保存退出。

我们此时ping一下Master这个节点发现网络访问没有问题:

接着,在 Slave2上的/etc/hosts中配置主机名和IP地址的对应关系,配置完后如下:

保存退出。

 

此时我们ping一下Master和Slave1发现都可以ping通;

 

最后把在 Master上的/etc/hosts中配置主机名和IP地址的对应关系,配置完后如下:

此时在Master上使用ping命令和Slave1和Slave2这两台机器进行沟通:

发现此时已经ping通了两个slave节点的机器。

最后我们在测试一下Slave1这台机器和Master、Slave2的通信:

到目前为止,Master、Slave1、Slave2这三台机器之间实现了相互通信!

Step 2:SSH无密码验证配置

首先我们看一下在没有配置的情况下Master通过SSH协议访问Slave1的情况:

此时会发现我们是需要密码的。我们不登陆进去,直接退出。

怎么使得集群能够通过SSH免登陆密码呢?

按照前面的配置,我们已经分布在Master、Slave1、Slave2这三台机器上的/root/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。

此时把Slave1的id_rsa.pub传给Master,如下所示:

同时把Slave2的id_rsa.pub传给Master,如下所示:

在Master上检查一下是否复制了过来:

此时我们发现Slave1和Slave2节点的公钥已经传输过来

Master节点上综合所有公钥:

将Master的公钥信息authorized_keys复制到Slave1和Slave1的.ssh目录下:

此时再次通过SSH登录Slave1和Slave2:

此时Master通过SSH登录Slave1和Slave2已经不需要密码,同样的Slave1或者Slave2通过SSH协议登录另外两台机器也不需要密码了。

Step 3:修改Master、Slave1、Slave2的配置文件

 

posted on 2014-09-01 10:07  spark亚太研究院  阅读(299)  评论(0编辑  收藏  举报

导航