hadoop完全分布式配置过程详解
Hadoop全分布搭建
一.今日任务
hadoop完全分布式系统搭建
二.任务内容
1.准备软件
hadoop-2.6.0-cdh5.7.0.tar.gz
jdk-8u161-linux-x64.tar.gz
Centos-6.5
VirtualBox-5.2.18-124319-Win.exe
- 配置过程
第一步:配置免密登录
- 新建虚拟机,设置静态ip地址,主机名master,ip以及主机名映射
- 配置免密登陆
- 启动ssh服务
Service sshd start
- 配置免密登录,更新公钥
第二步:复制虚拟机,更改ip
主机名和ip映射,分别配置56.2 主机名master,56.3 主机名 slaver1,56.4 主机名slaver2
第三步:上传jdk和hadoop到 hadoop用户目录
使用sftp上传jdk和hadoop的压缩包到hadoop用户目录下
第四步:jdk和hadoop配置
- 解压文件
- 配置环境变量
- 配置hadoop文件
1. core-site.xml
2.hdfs-site.Xml
- mapred-site.xml
- Yarn-site.xml
- Slaver
- 将jdk和hadoop文件分发到slaver1 和slaver2
- 在master格式化hdfs的namenode 并且启动hdfs,使用jps验证启动
三.遇到问题
1.复制虚拟机后需要一个个更改ip包括映射等
2.配置好之后启动 slaver1 和slaver2 均没有Java环境,但是jdk已配好
四.处理方式
Slaver1 和slaver2 配置成功环境变量但是启动时提示没有java环境的问题,解决方式是在master配置好之后,启动时显示6个进程,表示master主机hadoop文件已经全部配置,然后使用远程将 master配置好的 hadoop文件分发到slaver1和slaver2
总结:
- 此处配置主机名和ip映射时,直接将所有的全部配置,以便复制虚拟机时不需要继续修改
- 配置java环境时,确保系统本身没有已经安装好的jdk安装包,有则删除
- 配置好环境变量,需要使用 source使其生效
- 分发文件时,最好是将master配置好的hadoop文件分发过去,避免出现其他问题
- 启动成功后,master有5个进程,slaver都只有2个进程