hadoop集群安装
| 服务器 | node01 | node02 | node03 |
|---|---|---|---|
| HDFS | NameNode | ||
| HDFS | SecondaryNameNode | ||
| HDFS | DataNode | DataNode | DataNode |
| YARN | ResourceManager | ||
| YARN | NodeManager | NodeManager | NodeManager |
| 历史日志服务器 | JobHistoryServer |
第一步: 准备环境
准备了3台centos8的服务器
1. 添加用户
三台机器添加普通用户
useradd hadoop
passwd hadoop
使用visudo命令为三台机器为普通用户添加sudo权限
hadoop ALL=(ALL) ALL
2. 三台机器做主机名与IP地址的映射
# /etc/hosts
192.168.0.94 node01.dces.com node01
192.168.0.95 node02.dces.com node02
192.168.0.96 node03.dces.com node03
3. 三台机器hadoop用户免密码登录
ssh-keygen -t rsa
ssh-copy-id node01
4. 安装JDK
推荐使用手工方式安装jdk
yum install -y java-11-openjdk.x86_64 # 安装JDK
alternatives --config java # 配置当前使用的jdk
# /etc/bashrc
export JAVA_HOME=$(alternatives --display java | grep current | sed 's/ link currently points to //' | sed 's|/bin/java||')
source /etc/bashrc
5. 其他
# 上传hadoop到服务器
tar -zxvf hadoop-3.2.2.tar.gz
mv hadoop-3.2.2 hadoop
第二步: 检查hadoop支持
bin/hadoop checknative
# 如果 openssl 显示 false, 安装openssl
yum -y install openssl-devel
第三步：修改配置文件
hadoop/etc/hadoop/
hadoop-env.sh
export JAVA_HOME=$(alternatives --display java | grep current | sed 's/ link currently points to //' | sed 's|/bin/java||'
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/temp</value>
</property>
<!-- 缓冲区大小，实际工作中根据服务器性能动态调整；默认值4096 -->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟；默认值0 -->
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 -->
<!-- 集群动态上下线
<property>
<name>dfs.hosts</name>
<value>/opt/hadoop/etc/hadoop/accept_host</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/hadoop/etc/hadoop/deny_host</value>
</property>
-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:9868</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>node01:9870</value>
</property>
<!-- namenode保存fsimage的路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/data/namenode</value>
</property>
<!-- 定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/data/datanode</value>
</property>
<!-- namenode保存editslog的目录 -->
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///home/hadoop/data/dfs/nn/edits</value>
</property>
<!-- secondarynamenode保存待合并的fsimage -->
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///home/hadoop/data/dfs/snn/name</value>
</property>
<!-- secondarynamenode保存待合并的editslog -->
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>file:///home/hadoop/data/dfs/nn/snn/edits</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 如果vmem、pmem资源不够，会报错，此处将资源监察置为false -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
</configuration>
workers
node01
node02
node03
第四步：创建文件存放目录
mkdir -p /home/hadoop/data/temp
mkdir -p /home/hadoop/data/namenode
mkdir -p /home/hadoop/data/datanode
mkdir -p /home/hadoop/data/dfs/nn/edits
mkdir -p /home/hadoop/data/dfs/snn/name
mkdir -p /home/hadoop/data/dfs/nn/snn/edits
第五步：配置hadoop的环境变量
/etc/bashrc
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/bashrc
第六步：格式化集群
- 要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
- 注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。格式化操作只有在首次启动的时候需要，以后再也不需要了
- node01执行一遍即可
hdfs namenode -format
# 或者
hadoop namenode –format
第七步：集群启动
-
启动HDFS、YARN、Historyserver
如果配置了 etc/hadoop/workers 和 ssh 免密登录，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。
主节点node01节点上执行
###################### 启动集群 start-dfs.sh start-yarn.sh # mr-jobhistory-daemon.sh start historyserver 过时 mapred --daemon start historyserver ##################### 停止集群 stop-dfs.sh stop-yarn.sh # mr-jobhistory-daemon.sh stop historyserver 过时 mapred --daemon stop historyserver
第八步：验证集群是否搭建成功
-
yarnhttp://192.168.0.94:8088
-
jobhistory http://192.168.0.94:19888
使用 mr 测试集群
[hadoop@node01 mapreduce]$ hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar pi 5 5
