Hadoop jobhistory服务

概述

当MR程序在YARN上运行，YARN不会永久记录MR作业的日志信息，在YARN集群重启之后日志信息会消失；
MR程序分布式执行也不利于日志的集中查看，开启jobhistory服务再配合YARN日志聚集功能可以实现集中查询日志
jobhistory用来记录已经完成的MapReduce程序运行日志，日志信息存放于HDFS目录中;
jobhistory默认情况下是没有开启，需要在mapred-site.xml中配置，并手动启动服务。

配置修改

MapReduce jobhistory

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。

cd /export/server/hadoop-3.3.0/etc/hadoop
vim mapred-site.xml

mapred-site.xml

vim mapred-site.xml

# MR JobHistory Server管理的日志的存放位置
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>node1:10020</value>
</property>

# 查看历史服务器已经运行完的Mapreduce作业记录的web地址，需要启动该服务才行
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>node1:19888</value>
</property>

注意：因为涉及配置文件修改，需要集群每台机器都修改，并且在重启后生效

scp /export/server/hadoop-3.3.0/etc/hadoop/mapred-site.xml node2:/export/server/hadoop-3.3.0/etc/hadoop/

scp /export/server/hadoop-3.3.0/etc/hadoop/mapred-site.xml node3:/export/server/hadoop-3.3.0/etc/hadoop/

yarn jobhistory

yarn的日志聚集功能：

yarn-site.xml

<!-- 开启日志聚集 -->
<property>
	<name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
    
<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
</property>
    
<!-- 保存的时间7天 -->
    
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

修改集群中的每台机器：

scp /export/server/hadoop-3.3.0/etc/hadoop/yarn-site.xml node2:/export/server/hadoop-3.3.0/etc/hadoop/

scp /export/server/hadoop-3.3.0/etc/hadoop/yarn-site.xml node3:/export/server/hadoop-3.3.0/etc/hadoop/

jobhistory 服务启停

注意jobhistory服务并不受Hadoop集群启停命令控制，需要单独启动、单独关闭。

#hadoop2.x版本命令
mr-jobhistory-daemon.sh start|stop historyserver

#hadoop3.x版本命令
mapred --daemon start|stop historyserver

[root@node1 ~]# jps
13794 JobHistoryServer
13060 DataNode
12922 NameNode
13436 NodeManager
13836 Jps
13327 ResourceManager