MapReduce jobHistory--结束日志

一、 MapReduce jobHistory

JobHistory用来记录已经finished（结束）的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。

1． 修改mapred-site.xml

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

vim mapred-site.xml

MR JobHistory Server管理的日志的存放位置

         <property>

                  <name>mapreduce.jobhistory.address</name>

                  <value>node-1:10020</value>

         </property>

查看历史服务器已经运行完的Mapreduce作业记录的web地址，需要启动该服务才行

         <property>

                  <name>mapreduce.jobhistory.webapp.address</name>

                  <value>node-1:19888</value>

         </property>

2． 分发配置到其他机器

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop

scp -r mapred-site.xml node-2:$PWD

scp –r mapred-site.xml node-3:$PWD

 

3． 启动jobHistoryServer服务进程

mr-jobhistory-daemon.sh start historyserver

如果关闭的话 用下述命令

mr-jobhistory-daemon.sh start historyserver

4． 页面访问jobhistoryserver

http://node-1:19888/jobhistory

 

 

注意事项

  • historyserver 是否运行不影响hadoop集群正常工作 只是为了更好查看历史运行信息的

 

 

 



posted @ 2019-09-11 00:04  DaBai的黑屋  阅读(464)  评论(0)  编辑  收藏  举报
Live2D