Spark History Server配置

Spark提供WebUI可以实时查看Application的运行状态。但是当你想用WebUI查看任意completed applications的运行历史记录时，可能会在浏览器中显示如下信息

image

这主要是由于没有设置eventLog.dir所导致的。提到eventLog.dir，就要说到Spark History Server，通过配置History Server，可以在application执行的过程中记录下了日志事件信息，以便其完成后查看。

 

配置spark-default.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://BDTEST01:9000/SparkLogs
spark.yarn.historyServer.address BDTEST01:18080

 

配置spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=hdfs://BDTEST01:9000/SparkLogs"

 

注：spark.eventLog.dir或spark.history.fs.logDirectory可以配置成不一样的路径，但是目录必须已经存在，否则History Server无法启动！（两者区别参阅参考链接）

 

启动History Server

./start-history-server.sh

 

浏览器中打开Server WebUI，端口18080

image

对于任意application，显示运行时间线，点击描述，还可以查看详细历史记录，例如下图所示

image

 

Reference：

http://www.cnblogs.com/luogankun/p/3981645.html

 

END

posted @ 2015-10-23 12:42  gOOner黑骑士  阅读(682)  评论(0)  编辑  收藏  举报