Hadoop离线计算——环境搭建（一）
文章目录
前言
如果你从本文中学习到丝毫知识，那么请您点点关注、点赞、评论和收藏
大家好，我是爱做梦的鱼，我是东北大学大数据实验班大三的小菜鸡，非常渴望优秀，羡慕优秀的人。从5月25号我们开始了为期两个月的实习，我们需要做一个大型大数据项目，一个项目由三个学生+一个企业的项目经理完成。请大家持续关注我的专栏，我会每天更新。
专栏：大数据案例实战——大三春招大数据开发
专栏：Spark官方文档解读【Spark2.4.5中英双语】
博客地址：子浩的博客https://blog.csdn.net/weixin_43124279
欢迎大家关注微信公众号【程序猿干货铺】
一群热爱技术并且向往优秀的程序猿同学，不喜欢水文，不喜欢贩卖焦虑，只喜欢谈技术，分享的都是技术干货。Talk is cheap. Show me the code
环境组成与注意事项
本环境由三台虚拟机组成，一台为主节点，两台台为数据节
点。
IP 主机名 作用
172.16.29.109 master 主节点
172.16.29.117 slave1 数据节点1
172.16.29.121 slave2 数据节点2
一、根据以上信息修改IP与计算机名
1、修改IP并关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
2、关闭Selinux
vim /etc/sysconfig/selinux
3、修改hostname
hostnamectl set-hostname xxx
以slave2服务器举例
4、修改host文件
修改机器的/etc/hosts文件，将每个机器的hostname和ip对应，
4、将修改后/etc/hosts文件复制到集群中的每台机器，操作如下：
执行scp /etc/hosts 172.16.29.121:/etc/
此命令用于将hosts文件分发至其他机器对应目录下。
5、全部分发完毕以后重启机器（reboot）
二、设置ssh无密码登录
1.输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，
2.合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，
cat id_rsa.pub>> authorized_keys
ssh 172.16.29.117 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh 172.16.29.121 cat ~/.ssh/id_rsa.pub>> authorized_keys
3.把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录
不直接复制到/root/.ssh下面是不想直接覆盖掉原文件，防止删去authorized_keys中以前的授权密钥，我们依然采取的是文本末追加这种方式
scp ~/.ssh/authorized_keys 172.16.29.117:/root
cd /
cat authorized_keys >> ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys 172.16.29.121:/root
cd /
cat authorized_keys >> ~/.ssh/authorized_keys
4.完成，ssh slave1、ssh slave2就不需要输入密码了
三、免密登陆原理
图解，server A免登录到server B:
1.在A上生成公钥私钥。
2.将公钥拷贝给server B，要重命名成authorized_keys(从英文名就知道含义了)
3.Server A向Server B发送一个连接请求。
4.Server B得到Server A的信息后，在authorized_key中查找，如果有相应的用户名和IP，则随机生成一个字符串，并用Server A的公钥加密，发送给Server A。
5.Server A得到Server B发来的消息后，使用私钥进行解密，然后将解密后的字符串发送给Server B。Server B进行和生成的对比，如果一致，则允许免登录。
总之：A要免密码登录到B，B首先要拥有A的公钥，然后B要做一次加密验证。对于非对称加密，公钥加密的密文不能公钥解开，只能私钥解开。
免密登陆原理来源于以下文章
作者：FilesFan 链接：https://www.jianshu.com/p/e7ddb9372b00 来源：简书
