1.standalone HA的运行原理: 为解决单点故障问题,spark由两种方案:基于文件系统的单点恢复(只能用于开发或测试环境)、基于zookeeper的standby master(可以用于生产环境);基于zookeeper做状态的维护,开启多个master进程,一个作为活跃,其他的作为备份,当活跃进程宕机,备份master进行接管
第五章
1.spark on yarn的本质
master角色由yarn的resouorcemanager担任
worker角色由yarn的nodemanager担任
driver角色运行在yarn容器内或提交任务的客户端进程
真正干活的executor运行在yarn提供的容器内
2.spark on yarn需要啥
yarn 集群环境
spark客户端工具:spark-submit
被提交的代码程序
第五章
1.spark on yarn的本质
master角色由yarn的resouorcemanager担任
worker角色由yarn的nodemanager担任
driver角色运行在yarn容器内或提交任务的客户端进程
真正干活的executor运行在yarn提供的容器内
2.spark on yarn需要啥
yarn 集群环境
spark客户端工具:spark-submit
被提交的代码程序
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!