2022.9.18周总结

python学习

hadoop集群搭建

1.准备好需要安装的软件
虚拟机VMware12.pro

操作系统CentOS 6.5

远程控制虚拟机的终端SecureCRT8.1

2.在虚拟机中安装CentOS操作系统

3. 虚拟网络配置

4. 更改主机名称
修改主机名文件（重启永久生效）

查看主机名hostname（文件修改后没有重启主机名没有生效，可以用hostname临时生效）

复制master文件两次，重命名为slave1和slave2，打开虚拟机文件，然后按照同样的方法设置两个节点的ip和主机名

5.建立主机名和ip的映射

6.配置ssh免密码登录
在root用户下输入ssh-keygen -t rsa 一路回车

秘钥生成后在~/.ssh/目录下，有两个文件id_rsa(私钥)和id_rsa.pub（公钥），将公钥复制到authorized_keys并赋予authorized_keys600权限

同理在slave1和slave2节点上进行相同的操作，然后将公钥复制到master节点上的authoized_keys

将master节点上的authoized_keys远程传输到slave1和slave2的~/.ssh/目录下

检查是否免密登录（第一次登录会有提示）

7.关闭防火墙

8.安装JDK

9.安装MySQL（主节点）

10.安装SecureCRT

12.搭建集群
12.1 集群结构

 

 

12.2 新建hadoop用户及其用户组
用adduser新建用户并设置密码

将新建的hadoop用户添加到hadoop用户组

前面hadoop指的是用户组名，后一个指的是用户名

赋予hadoop用户root权限

12.3 安装hadoop并配置环境变量

12.4 搭建集群的准备工作
在master节点上创建以下文件夹

/usr/hadoop-2.6.5/dfs/name

/usr/hadoop-2.6.5/dfs/data

/usr/hadoop-2.6.5/temp

12.5 配置hadoop文件
接下来配置/usr/hadoop-2.6.5/etc//hadoop/目录下的七个文件

slaves core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh yarn-env.sh

配置hadoop-env.sh

配置yarn-env.sh

配置slaves文件，删除localhost

配置core-site.xml

配置hdfs-site.xml

配置mapred-site.xml

配置yarn-site.xml

将配置好的hadoop文件复制到其他节点上

12.6 运行hadoop
格式化Namenode

13. 启动集群
[root@master sbin]# ./start-all.sh