Hadoop集群搭建
Apache Hadoop 分布式集群搭建
基础环境准备
三台 linux 节点,操作系统(Centos7)
- 关闭防火墙
systemctl stop firewalld
开机时禁用防火墙
systemctl disable firewalld
- 修改主机名
vi /etc/hosts
192.168.56.103 linux2
192.168.56.102 linux3
192.168.56.104 linux4
- 配置免密登录
在~目录下执行
#生成密钥
ssh-keygen -t rsa
cd /root/.ssh/
cp id_rsa.pub authorized_keys
//将每台机器的密钥拷到其他三台上,如在第一台上执行
ssh-copy-id -i linux3
ssh-copy-id -i linux4
- 每台机器安装 java 环境
安装 Hadoop
集群规划
框架 | linux2 | linux3 | linux4 |
---|---|---|---|
HDFS | NameNode、DataNode | DataNode | SecondaryNameNode、DataNode |
MapReduce | 无区分 | 无区分 | 无区分 |
YARN | NodeManager | NodeManager | NodeManager、ResourceManager |
- 下载 hadoop
下载页面:
https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
下载并解压
目录介绍
- bin 目录:对 Hadoop 进行操作的相关命令,如 hadoop,hdfs 等
- etc 目录:Hadoop 的配置文件目录,入 hdfs-site.xml,core-site.xml 等
- lib 目录:Hadoop 本地库(解压缩的依赖)
- sbin 目录:存放的是 Hadoop 集群启动停止相关脚本,命令
- share 目录:Hadoop 的一些 jar,官方案例 jar,文档等
- 配置环境变量
添加 Hadoop 到环境变量 vim /etc/profile
export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
使环境变量生效
source /etc/profile
测试是否配置成功
hadoop version
集群配置
Hadoop 集群配置 = HDFS 集群配置 + MapReduce 集群配置 + Yarn 集群配置
配置总览:
- HDFS 集群配置
- 将 JDK 路径明确配置给 HDFS(修改 hadoop-env.sh)
- 指定 NameNode 节点以及数据存储目录(修改 core-site.xml)
- 指定 SecondaryNameNode 节点(修改 hdfs-site.xml)
- 指定 DataNode 从节点(修改 etc/hadoop/slaves 文件,每个节点配置信息占一行)
- MapReduce 集群配置
- 将 JDK 路径明确配置给 MapReduce(修改 mapred-env.sh)
- 指定 MapReduce 计算框架运行 Yarn 资源调度框架(修改 mapred-site.xml)
- Yarn 集群配置
- 将 JDK 路径明确配置给 Yarn(修改 yarn-env.sh)
- 指定 ResourceManager 老大节点所在计算机节点(修改 yarn-site.xml)
- 指定 NodeManager 节点(会通过 slaves 文件内容确定)
一、HDFS 集群配置配置
配置文件在:/opt/lagou/servers/hadoop-2.9.2/etc/hadoop
目录下
- 配置 hadoop-env.sh
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
- 指定 NameNode 节点以及数据存储目录(修改 core-site.xml)
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://linux2:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>
</configuration>
- 指定 secondarynamenode 节点(修改 hdfs-site.xml)
<configuration>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>linux4:50090</value>
</property>
<!--副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
- 指定 datanode 从节点(vi slaves 文件,每个节点配置信息占一行)
linux2
linux3
linux4
注意不要有多余的换行和空格
二、MapReduce 集群配置
- 指定 MapReduce 使用的 jdk 路径(修改 mapred-env.sh)
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
- 指定 MapReduce 计算框架运行 Yarn 资源调度框架(修改 mapred-site.xml)
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
三、Yarn 集群配置
- 指定 JDK 路径(vi yarn-env.sh)
export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_151
- 指定 ResourceMnager 的 master 节点信息(vi yarn-site.xml)
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux4</value>
</property>
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
- 指定 NodeManager 节点(vi slaves 文件,同 HDFS 配置的第四点,上面配置过,这里就不用配置了)
linux2
linux3
linux4
注意:Hadoop 安装目录所属用户和所属用户组信息,默认是 501dialout,而我们操作 Hadoop 集群的用户使用的是虚拟机的 root 用户。
解决方法:
chown -R root:root /opt/lagou/servers/hadoop-2.9.2
备注:我们通过命令 scp 或 rsync 将一台机器上配置好的文件目录复制到其他机器上去。
示例:
scp -r jdk1.8.0_151/ linux3:/opt/lagou/servers/
集群启动
注意:如果集群是第一次启动,需要在Namenode 所在节点格式化 NameNode,非第一次不用执行格式化 Namenode 操作!!
hadoop namenode -format
格式化成功后有如下标识:
一、单节点启动方式
HDFS 启动
- 在 linux2(NameNode 节点)上启动 NameNode
hadoop-daemon.sh start namenode
- 在 linux2、linux3、linux4 上启动 DataNode
hadoop-daemon.sh start datanode
- 查看启动情况
192.168.56.103:50070
从 Live Node 可以看出启动成功的节点数量
也可以访问 HDFS 网页:
Yarn 启动
- 在 linux4(启动 resourcemanager 节点)上启动 resourcemanager
yarn-daemon.sh start resourcemanager
- 在 linux2、linux3、linux4 上启动 nodemanager
yarn-daemon.sh start nodemanager
停止命令
就是将 start 换成 stop
hadoop-daemon.sh stop namenode/datanode/secondarynamenode
yarn-daemon.sh stop resourcemanager / nodemanager
二、集群群启方式
- 在 linux2(NameNode 节点)上运行
sbin/start-dfs.sh
- 在 linux4(resourcemanager)上运行
sbin/start-yarn.sh
停止命令:
stop-dfs.sh
stop-yarn.sh
集群测试
- HDFS 分布式存储初体验
从我们 linux 本地传一个文件到 hdfs 上,并从 hdfs 上下载
#在hdfs上创建文件夹
hdfs dfs -mkdir -p /test/input
#上传linxu文件到Hdfs
hdfs dfs -put /root/test.txt /test/input
#从Hdfs下载文件到linux本地
hdfs dfs -get /test/input/test.txt
上传成功后也可以从管理页面上查看:
- MapReduce 分布式计算初体验
1)在 HDFS 文件系统根目录下面创建一个 wcinput 文件夹
hdfs dfs -mkdir -p /wcinput
2)本地编辑一个文件上传到 wcinput 文件夹下
文件内容:
hadoop mapreduce yarn
hdfs hadoop mapreduce
mapreduce yarn lagou
lagou
lagou
hdfs dfs -put word.txt /wcinput
3)运行 hadoop 提供的 mapreduce 示例程序测试
示例程序路径: cd hadoop-2.9.2/share/hadoop/mapreduce
hadoop jar ./hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
注意:wordcount 是示例程序提供的功能,wcinput 是我们放置文件的目录,wcoutput 由程序自动创建
4) 查看运行结果
hdfs dfs -cat /wcoutput/part-r-00000
配置历史服务器
在 Yarn 中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置一下历史日志服务器。
- 配置 mapred-site.xml
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>linux121:19888</value>
</property>
- 配置 yarn-site.xml
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
- 启动历史服务
mr-jobhistory-daemon.sh start historyserver
遇到的问题
启动后 liveNode 只有 2 个节点。
原因:因为这两个节点相同的 datanodeUuid 导致的。
datanodeUuid 位置:file://${hadoop.tmp.dir}/dfs/data/current/VERSION
cat /opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/data/current/VERSION
如果是一致的修改一下,然后重新启动即可。