spark history-server的使用

为什么需要historyServer?

        在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录。

        Spark history Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下了日志事件信息,那么在Application执行结束后,WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息。


historyServer需要在spark-defaults.conf中开启(如果log存于hdfs上,则需先开启hdfs)

设置spark.eventLog.enabled为 true并且设置记录spark事件的目录:

spark.eventLog.dir表示存放spark事件的地址,可以存在hdfs也可以存在本地file上



     同时还要在spark-env.sh中配置读取spark事件目录地址

     其中spark.history.ui.port是web UI端口 默认为18080,spark.history.retainedApplications是存放个内存中的日志个数(官网说明和源码中的说明有出入,以源码为准),spark.history.fs.logDirectory是读取spark事件的地址。




    其余配置信息可以去spark官网查看。


最后在spark/sbin下执行start-history-server.sh          默认端口为18080

    启动后如图所示:

    


存放spark事件的目录(我存在hdfs中),其中有你的环境变量信息,spark版本号等信息



historyServer界面,里面有app运行的详细信息(GC,shuffle,task运行的详细信息等)



        Tip1:driver在SparkContext使用stop()方法后才将完整的信息提交到指定的目录,如果不使用stop()方法,即使在指定目录中产生该应用程序的目录,history server也将不会加载该应用程序的运行信息。在最后加上一行sc.stop()后,就可以显示。

        Tip2:以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS,以spark.eventLog开头的配置在spark-defaults.conf。


      


posted on 2015-03-31 21:54  毛小娃  阅读(258)  评论(0编辑  收藏  举报

导航