hadoop环境配置(linux)

Linux下配置hadoop环境配置

系统环境:centos7

jdk:jdk-8u291

hadoop:hadoop-3.3.0

http://archive.apache.org/dist/hadoop/core/

ssh:finalshell

一、jdk安装

cd 到跟目录下

cd /

新建文件安装目录

mkdir -p /export/server/

使用finalshell将jdk压缩包上传至/export/server/目录

切换到server目录

cd /export/server/

将压缩包解压到server下

tar -zxvf jdk-8u291-linux-x64.tar.gz

 

配置环境变量

vim /etc/profile

 

在文件最后面添加

1
2
export JAVA_HOME=/export/server/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin

保存退出

重新加载配置文件

source /etc/profile

查看是否配置文件成功

java -version

出现以下信息说明配置成功

二、hadoop安装

1、设置ssh免密登录

ssh-keygen

按回车 生成公钥、私钥

将生成的密钥发送到本机地址

ssh-copy-id localhost

2、关闭禁用防火墙

关闭防火墙

systemctl stop firewalld.service

禁用防火墙

systemctl disable firewalld.service

查看当前状态(出现dead表示成功)

systemctl status firewalld.service

3、配置Hadoop

(1)配置core-site.xml文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
 
<!-- 设置Hadoop本地保存数据路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/export/server/hadoop-3.3.0/data/tmp</value>
</property>
 
 
<!-- 整合hive用户代理设置 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
 
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

(2)配置hdfs-site.xml文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<!-- 设置hdfs中的namenode文件目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/export/server/hadoop-3.3.0/data/dfs/name</value>
<final>true</final>
</property>
 
<!-- 设置hdfs中的datanode文件目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/export/server/hadoop-3.3.0/data/dfs/data</value>
<final>true</final>
</property>
 
<!-- 设置数据块副本 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
 
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

(3)配置hadoop-env.sh文件

1
2
3
4
5
6
7
export JAVA_HOME=/export/server/jdk1.8.0_291
 
export HDFS_NAMENODE_USER=root
export HDFS_DATENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

(4)配置mapred-site.xml文件

1
2
3
4
<property>
<name>mapredure.frameword.name</name>
<value>yarn</value>
</property>

(5)配置yarn-site.xml 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
 
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.200.138:8032</value>
</property>
 
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.200.138:8030</value>
</property>
 
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.200.138:8031</value>
</property>
 
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.200.138:8033</value>
</property>
 
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.200.138:8088</value>
</property>

(6)配置hadoop环境变量

vim /etc/profile

在文件最后面添加

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出

重新加载配置文件

source /etc/profile

查看是否配置文件成功

hadoop

三、查看hadoop网页

Linux服务ip:8088

 

Linux服务ip:9870

 

posted @   左叔  阅读(1474)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示