Hadoop 配置日志聚集

配置日志聚集

---

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上
注：开启日志聚集功能， 需要重新启动 NodeManager、ResourceManager、HistoryServer

---

1. 配置yarn-site.xml
   1. 命令：vim yarn-site.xml
   2. 添加如下配置

      <!-- 开启日志聚集功能 -->
      <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
      </property>
      <!-- 设置日志聚集服务器地址 -->
      <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop102:19888/jobhistory/logs</value>
      </property>
      <!-- 设置日志保留时间为 7 天 -->
      <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
      </property>
      

2. 分发配置
   命令：xsync $HADOOP_HOME/etc/hadoop/yarn- site.xml
3. 关闭 NodeManager 、ResourceManager和 HistoryServer
   命令：sbin/stop-yarn.sh
   命令：mapred --daemon stop historyserver
4. 启动 NodeManager 、ResourceManager和 HistoryServer
   命令：start-yarn.sh
   命令：mapred --daemon start historyserver
5. 删除HDFS上已经存在的输出文件
   命令：hadoop fs -rm -r /output
6. 执行 WordCount 程序
   命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
7. 查看日志
   http://hadoop102:19888/jobhistory