spark history server

参考：http://blog.csdn.net/lsshlsw/article/details/44786575

 

 

为什么需要historyServer?

        在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录。

        Spark history Server就是为了应对这种情况而产生的，通过配置可以在Application执行的过程中记录下了日志事件信息，那么在Application执行结束后，WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息。

 

historyServer需要在spark-defaults.conf中开启(如果log存于hdfs上，则需先开启hdfs)

设置spark.eventLog.enabled为 true并且设置记录spark事件的目录：

spark.eventLog.dir表示存放spark事件的地址，可以存在hdfs也可以存在本地file上

 

     同时还要在spark-env.sh中配置读取spark事件目录地址

     其中spark.history.ui.port是web UI端口 默认为18080,spark.history.retainedApplications是存放个内存中的日志个数（官网说明和源码中的说明有出入，以源码为准）,spark.history.fs.logDirectory是读取spark事件的地址。

 

 

    其余配置信息可以去spark官网查看。

 

 

最后在spark/sbin下执行start-history-server.sh          默认端口为18080

    启动后如图所示:

    

 

存放spark事件的目录(我存在hdfs中)，其中有你的环境变量信息，spark版本号等信息

 

historyServer界面，里面有app运行的详细信息（GC，shuffle,task运行的详细信息等）

 

 

        Tip1：driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录，如果不使用stop（）方法，即使在指定目录中产生该应用程序的目录，history server也将不会加载该应用程序的运行信息。在最后加上一行sc.stop()后，就可以显示。

 

        Tip2：以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog开头的配置在spark-defaults.conf。