Hadoop历史服务器

Hadoop历史服务器

把运行过的job保存到历史服务器上
此配置只能查看job的运行情况和时间，不能查看日志信息

搭建历史服务器

在hadoop1上进行搭建

• 修改配置文件mapred-site.xml

<!--历史服务器的内部地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop1:10020</value>
</property>
<!--历史服务器的web地址-->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop1:19888</value>
</property>

• 启动历史服务器

mapred --daemon start historyserver

• web查看

配置日志的聚集

日志聚集：应用运行完成以后，将程序的日志在web上面显示

修改yarn-site.xml

<!--开启日志聚集功能-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!--web查看日志的路径-->
<property>
	<name>yarn.log.server.url</name>
	<value>http://192.168.31.101:19888/jobhistory/logs</value>
</property>
<!--设置日志的存储时间-->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

web端访问