spark application提交应用的两种方式

bin/spark-submit --help

... ...
--deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or
                               on one of the worker machines inside the cluster ("cluster")
                               (Default: client).
... ...

--deploy-mode定义了spark运行时的两种方式:

1)client模式:
     spark应用driver运行在本地,应用输出日志可以在本地查看。
2)cluster模式:
     spark应用driver运行在cluster中一台节点上,应用输出日志只能通过ui界面查看。

例1:spark运行在client模式下:

bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/

bin/spark-submit \
--master spark://chavin.king:7077 \
--deploy-mode client \
jars/sparkApp.jar

例2:spark运行在cluster模式下:

bin/hdfs dfs -mkdir -p /user/beifeng/mapreduce/wordcount/

bin/spark-submit \
--master spark://chavin.king:7077 \
--deploy-mode cluster \
jars/sparkApp.jar

posted @   ChavinKing  阅读(244)  评论(0编辑  收藏  举报
编辑推荐:
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· C#/.NET/.NET Core优秀项目和框架2025年2月简报
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 【杭电多校比赛记录】2025“钉耙编程”中国大学生算法设计春季联赛(1)
点击右上角即可分享
微信分享提示