hadoop完全分布式安装部署

简介

Hadoop的完全分布式模式是在多台机器上运行Hadoop集群，实现更高的性能和可伸缩性。以下是Hadoop完全分布式模式的简要安装部署。

环境准备

确保你的环境满足以下要求：

• 操作系统：CentOS
• Java：安装Java 8或更高版本
• SSH：确保所有节点之间可以通过SSH互相通信

安装部署

JDK安装部署

解压安装包

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

配置环境变量

vi /etc/profile

export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

查看版本

java -version
# 执行以下命令
javac

分发JDK

scp /etc/profile bigdata2:/etc/profile
scp /etc/profile bigdata3:/etc/profile

scp -r /opt/module/jdk1.8.0_212 bigdata2:/opt/module
scp -r /opt/module/jdk1.8.0_212 bigdata3:/opt/module

Hadoop安装部署

解压安装包

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

配置环境变量

vi /etc/profile

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

source /etc/profile

查看版本

hadoop version

hadoop配置文件配置

hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212

core-site.xml

<!-- 配置hadoop文件系统-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata1:9000</value>
</property>
<!-- 配置hadoop临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/tmp</value>
</property>

hdfs-site.xml

<!-- 配置文件副本数 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 配置SecondaryNameNode服务器的主机ip和端口-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata1:50090</value>
</property>
<!-- namenode 的 web 端访问端口配置为 15887-->
<property>
<name>dfs.namenode.http-address</name>
<value>bigdata2:50070</value>
</property>

mapred-site.xml

<!-- 配置mapreduce计算框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

yarn-site.xml

<!-- 指定Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- yarn主节点rm的位置-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata1</value>
</property>

workers

bigdata1
bigdata2
bigdata3

分发hadoop及环境变量

scp /etc/profile bigdata2:/etc/profile
scp /etc/profile bigdata3:/etc/profile

scp -r /opt/module/hadoop-3.1.3 bigdata2:/opt/module/
scp -r /opt/module/hadoop-3.1.3 bigdata3:/opt/module/

格式化hadoop

hadoop namenode -format

启动hadoop，并查看各节点进程

start-all.sh

[root@bigdata1 hadoop]# jps
10067 NameNode
10340 SecondaryNameNode
10485 ResourceManager
10597 NodeManager
10841 Jps
10189 DataNode
[root@bigdata2 hadoop]# jps
10099 DataNode
10195 NodeManager
10295 Jps
[root@bigdata3 hadoop]# jps
10065 Jps
9869 DataNode
9965 NodeManager