1.standalone HA的运行原理: 为解决单点故障问题,spark由两种方案:基于文件系统的单点恢复(只能用于开发或测试环境)、基于zookeeper的standby master(可以用于生产环境);基于zookeeper做状态的维护,开启多个master进程,一个作为活跃,其他的作为备份,当活跃进程宕机,备份master进行接管

第五章

1.spark on yarn的本质

master角色由yarn的resouorcemanager担任

worker角色由yarn的nodemanager担任

driver角色运行在yarn容器内或提交任务的客户端进程

真正干活的executor运行在yarn提供的容器内

2.spark on yarn需要啥

yarn 集群环境

spark客户端工具:spark-submit

被提交的代码程序