125学习总结
1.分布式代码执行的重要特征
代码在集群上运行，是分布式运行的
在spark中，非任务处理部分由driver执行（非rdd代码）
任务处理部分由executor执行（rdd代码）
executor的数量可以很多，所以人物的计算是分布式在运行的
2.pyspark的架构体系
python on spark driver 端由jvm执行，executor端由jvm命令转发，底层由python解释器进行工作
Spark core
1.分布式代码执行的重要特征
代码在集群上运行，是分布式运行的
在spark中，非任务处理部分由driver执行（非rdd代码）
任务处理部分由executor执行（rdd代码）
executor的数量可以很多，所以人物的计算是分布式在运行的
2.pyspark的架构体系
python on spark driver 端由jvm执行，executor端由jvm命令转发，底层由python解释器进行工作
Spark core
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· Ollama——大语言模型本地部署的极速利器
· 使用C#创建一个MCP客户端
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型，支持深度思考和联网搜索！
· Windows编程----内核对象竟然如此简单？
· ollama系列1：轻松3步本地部署deepseek，普通电脑可用