hadoop伪集群搭建

操作系统centos8

1、安装jdk环境

 

 

 

 2、安装hadoop3.1.3和配置环境

链接：https://pan.baidu.com/s/1Hbo39A1-GagIkqtJByenpA
提取码：8epv

 

 

 

 

 

 3、准备一个hadoop用户

创建自定义组（组在用户之前创建）hadoop

 

 

 查看组信息：

 

 

 创建自定义的用户名hadoop，并设置登录密码

 

 

 

 

 查看用户名信息

 

 

 

 

 

 4、给刚创建的用户赋root权限

先修改sudoers配置文件权限

 

 

 赋640权限

修改配置文件，改完之后将权限恢复为440

 

 

 5、用root账号修改hostname

 

 

 永久修改Hostname

 

 

 

 

 

 6、配置映射

vim /etc/hosts

前面是你服务器的Ip

 

 

 7、配置ssh（自己免密登录自己）hdfs环境必须

 

 

 这里ssh登录自己需要输入密码

yum install openssh-server -y

查看sshd状态

 

 

生成公钥和私钥对，通过rsa非对称加密，-C是注释 (这里其实应该在hadoop用户下操作)

 

 

 将公钥发送给需要免密登录的服务器，这里是本机

 

 

 测试

 

 

 8、为了方便后面hadoop用非root用户hadoop安装，将hadoop安装路径赋权限，修改用户。

 

 

9、修改hadoop配置

1）修改hadoop-env.sh文件

这款里配置jdk和hadoop配置文件绝对路径，防止多个jdk或者hadoop路径找不到

 

 

 

 

 

 2)修改core-site.xml文件

创建tmp存放hadoop产生的文件

 

 

 3）修改hdfs-site.xml文件

 

 

 4)修改mapred-site.xml

 

 

 5)修改yarn-site.xml （）

 

 

 6）修改workers内容(配置从节点的主机名或ip地址)

改为hadoop

10、启动hadoop

1)初始化namenode

 

 

 

 

 

 2）启动Hdfs(这里用hadoop这个用户启动)

这里可能出现的错误：可能hadoop的执行文件的权限不够，也可能hadoop不是用非root用户启动，还可能ssh非对称加密没有在hadoop用户下生成

 

 

 3)启动yarn

 

 

 11、检测启动的hdfs和yarn(这里服务器需要开放端口)

11637   resourcemanager

11734   ndoemanager

11241  datanode

11146  namenode

12075  jps

11436  secondarynamenode