18080端口为history server端口的WebUI,展示信息为已完成和未完成的应用信息,当4040端口关闭后,可以通过18080端口查看相关信息。
展示信息包含4040端口的所有信息
演示如下:
首先创建history sever的读取路径文件夹:
mkdir /usr/local/spark/spark-events(路径可自定义)
vi /usr/local/spark/conf/spark-env.sh
拷贝export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=/usr/local/spark/spark-events"到sarpk-env.sh中
注意:等于号后面的路径要与1中创建文件夹路径一致
启动history server:
cd /usr/local/spark/sbin
./start-history-server.sh
展示信息包含4040端口的所有信息
演示如下:
首先创建history sever的读取路径文件夹:
mkdir /usr/local/spark/spark-events(路径可自定义)
vi /usr/local/spark/conf/spark-env.sh
拷贝export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=/usr/local/spark/spark-events"到sarpk-env.sh中
注意:等于号后面的路径要与1中创建文件夹路径一致
启动history server:
cd /usr/local/spark/sbin
./start-history-server.sh
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!