Hadoop伪分布式环境搭建

Hadoop伪分布式环境搭建
1.准备环境(VMware、CentOS/node-14.rar)
-解压 node-14.rar这个压缩包到指定目录
-找到解压后的nodc/nodc.vmx 这个文件
-在VMware中弹出的警告框中选择【获取所有权】
-点击【开启虚拟机】,弹出框中选择【我已移动该虚拟机】
-启动完毕后,输入密码和用户名(密码,用户名默认都是root,输入密码时不会显示)
2.配置网络
-查看当前虚拟机的网络环境:找到编辑—虚拟网络编辑器—Wmnel8—子网IP(记住自己的网段)
-通过一个命令nmtui 回车,修改网络
通过键盘的方向键—Edit a connection—(Edit....)— Addresses修改网段—修改完毕后 移动到OK,退出Back—Quit—OK
-退出后,重启虚拟机。输入reboot
-测试网络畅通 ping baidu.com返回数据包,表示畅通 结束数据包返回(Ctrl+C)
3.安装Hadoop和JDK软件
-(下载安装包)
-安装模拟终端工具,解压到任意目录
-打开模拟终端工具—新建一个会话—输入远程主机和用户名
-进入输入用户名和密码(密码不会显示)
-上传到指定目录:(自己设置)
输入:cd 自己设置的目录 (通过pwd 查看目录)复制这个目录到左上角输入框里,回车,点上传按钮,选择jdk和hadoop安装包上传
-安装jkd和hadoop软件
(1)解压jkd和hadoop安装包到指定目录(前面自己设置的)tar -zxvf jdk的安装包 tar -zxvf hadoop的安装包
(2)删除安装包 rm -rf *.gz
(3)把解压的文件夹重命名为hadoop和jdk
mv hadoop-2.7.3/ hadoop
mv ….. (修改jdk与上面同理)
(4)配置环境变量 .bash_profile
输入安装命令:yum install -y vim
输入命令:vim /root/.bash_profile
编辑文件,在最后面添加:

 

 


输入完毕后,保存退出
需要上述配置生效,需要运行命令: source/root/.base_profile
(5)测试Jdk和Hadoop是否配置成功
java -version
hadoop version

 

修改Hadoop配置文件
1)cd hadoop/etc/hadoop
2)修改hadoop-env.sh  文件
输入:vim hadoop-env.sh,进入文本编辑器,找到export JAVA_HOME的配置,修改后面的值:export JAVA_HOME=/usr/local/src/jdk
修改完毕后,保存退出
3)输入命令:vim core-site.xml,进入文本编辑器,在(configuration)(/configuration)标签之间添加以下代码:

 

 


修改完毕,保存退出。 
4)修改hdfs-site.xml文件
(与上面同理)添加以下代码:

 

 

5)修改slaves文件
输入:vim slaves 进入文本编辑器,修改localhost为node
修改完毕,保存退出 

posted @   好多好多月  阅读(38)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· Manus的开源复刻OpenManus初探
· AI 智能体引爆开源社区「GitHub 热点速览」
· 从HTTP原因短语缺失研究HTTP/2和HTTP/3的设计差异
· 三行代码完成国际化适配,妙~啊~
点击右上角即可分享
微信分享提示