1.local模式基本原理
本质:启动一个JVM Process进程(一个进程里面有多个线程),执行任务task
local模式可以限制模拟spark集群环境的线程数量,即local[N]或local[*]
其中N代表可以使用N个线程,如果不指定N,默认是1个线程
如果是local[*], 则代表Run Spark laocally with as many worker threads as logical cores on your machine.按照cpu最多的cores设置线程数
local下的角色分布
资源管理
master:local进程本身
worker:local进程本身
任务执行
driver:local进程本身
executor:不存在,没有独立的executor角色,由local进程内的线程提供计算能力
local模式只能运行一个spark程序,如果执行多个spark程序,那就是多个相互独立的local进程在进行
本质:启动一个JVM Process进程(一个进程里面有多个线程),执行任务task
local模式可以限制模拟spark集群环境的线程数量,即local[N]或local[*]
其中N代表可以使用N个线程,如果不指定N,默认是1个线程
如果是local[*], 则代表Run Spark laocally with as many worker threads as logical cores on your machine.按照cpu最多的cores设置线程数
local下的角色分布
资源管理
master:local进程本身
worker:local进程本身
任务执行
driver:local进程本身
executor:不存在,没有独立的executor角色,由local进程内的线程提供计算能力
local模式只能运行一个spark程序,如果执行多个spark程序,那就是多个相互独立的local进程在进行
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!