18080端口为history server端口的WebUI,展示信息为已完成和未完成的应用信息,当4040端口关闭后,可以通过18080端口查看相关信息。

    展示信息包含4040端口的所有信息

演示如下:

    首先创建history sever的读取路径文件夹:

    mkdir /usr/local/spark/spark-events(路径可自定义)

    vi /usr/local/spark/conf/spark-env.sh

    拷贝export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=/usr/local/spark/spark-events"到sarpk-env.sh中

​ 注意:等于号后面的路径要与1中创建文件夹路径一致

    启动history server:

    cd /usr/local/spark/sbin

    ./start-history-server.sh