hadoop环境配置(linux)
Linux下配置hadoop环境配置
系统环境:centos7
jdk:jdk-8u291
hadoop:hadoop-3.3.0
http://archive.apache.org/dist/hadoop/core/
ssh:finalshell
一、jdk安装
cd 到跟目录下
cd /
新建文件安装目录
mkdir -p /export/server/
使用finalshell将jdk压缩包上传至/export/server/目录
切换到server目录
cd /export/server/
将压缩包解压到server下
tar -zxvf jdk-8u291-linux-x64.tar.gz
配置环境变量
vim /etc/profile
在文件最后面添加
1 2 | export JAVA_HOME= /export/server/jdk1 .8.0_291 export PATH=$PATH:$JAVA_HOME /bin |
保存退出
重新加载配置文件
source /etc/profile
查看是否配置文件成功
java -version
出现以下信息说明配置成功
二、hadoop安装
1、设置ssh免密登录
ssh-keygen
按回车 生成公钥、私钥
将生成的密钥发送到本机地址
ssh-copy-id localhost
2、关闭禁用防火墙
关闭防火墙
systemctl stop firewalld.service
禁用防火墙
systemctl disable firewalld.service
查看当前状态(出现dead表示成功)
systemctl status firewalld.service
3、配置Hadoop
(1)配置core-site.xml文件
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | <property> <name>fs.defaultFS< /name > <value>hdfs: //localhost :9000< /value > < /property > <!-- 设置Hadoop本地保存数据路径 --> <property> <name>hadoop.tmp. dir < /name > <value> file : /export/server/hadoop-3 .3.0 /data/tmp < /value > < /property > <!-- 整合hive用户代理设置 --> <property> <name>hadoop.proxyuser.root.hosts< /name > <value>*< /value > < /property > <property> <name>hadoop.proxyuser.root. groups < /name > <value>*< /value > < /property > |
(2)配置hdfs-site.xml文件
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | <!-- 设置hdfs中的namenode文件目录 --> <property> <name>dfs.namenode.name. dir < /name > <value> /export/server/hadoop-3 .3.0 /data/dfs/name < /value > <final> true < /final > < /property > <!-- 设置hdfs中的datanode文件目录 --> <property> <name>dfs.datanode.data. dir < /name > <value> /export/server/hadoop-3 .3.0 /data/dfs/data < /value > <final> true < /final > < /property > <!-- 设置数据块副本 --> <property> <name>dfs.replication< /name > <value>1< /value > < /property > <property> <name>dfs.permissions< /name > <value> false < /value > < /property > |
(3)配置hadoop-env.sh文件
1 2 3 4 5 6 7 | export JAVA_HOME= /export/server/jdk1 .8.0_291 export HDFS_NAMENODE_USER=root export HDFS_DATENODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root |
(4)配置mapred-site.xml文件
1 2 3 4 | <property> <name>mapredure.frameword.name< /name > <value>yarn< /value > < /property > |
(5)配置yarn-site.xml 文件
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 | <property> <name>yarn.nodemanager.aux-services< /name > <value>mapreduce_shuffle< /value > < /property > <property> <name>yarn.resourcemanager.address< /name > <value>192.168.200.138:8032< /value > < /property > <property> <name>yarn.resourcemanager.scheduler.address< /name > <value>192.168.200.138:8030< /value > < /property > <property> <name>yarn.resourcemanager.resource-tracker.address< /name > <value>192.168.200.138:8031< /value > < /property > <property> <name>yarn.resourcemanager.admin.address< /name > <value>192.168.200.138:8033< /value > < /property > <property> <name>yarn.resourcemanager.webapp.address< /name > <value>192.168.200.138:8088< /value > < /property > |
(6)配置hadoop环境变量
vim /etc/profile
在文件最后面添加
export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存退出
重新加载配置文件
source /etc/profile
查看是否配置文件成功
hadoop
三、查看hadoop网页
Linux服务ip:8088
Linux服务ip:9870
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库