Spark的几个问题

1、application是由driver和executor组成的,executor可以分成task,task又可以分成为stage。当一个任务提交给spark之后,spark机群的主节点会出现driver进程,从节点会出现executor进程。

2、standalone部署之后,主节点进程是master,工作节点进程是worker

3、spark只有计算功能,它没有存储功能,所以它必须依赖于hdfs,在安装spark之前,必须先安装hadoop。

4、有了spark,就可以写spark程序来做数据处理工作了,就不需要用MapReduce来做了,因为spark的计算速度是MapReduce的100倍以上。

 

posted @   zhangzl419  阅读(127)  评论(0编辑  收藏  举报
编辑推荐:
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· SQL Server 2025 AI相关能力初探
· Linux系列:如何用 C#调用 C方法造成内存泄露
阅读排行:
· 无需6万激活码!GitHub神秘组织3小时极速复刻Manus,手把手教你使用OpenManus搭建本
· Manus爆火,是硬核还是营销?
· 终于写完轮子一部分:tcp代理 了,记录一下
· 别再用vector<bool>了!Google高级工程师:这可能是STL最大的设计失误
· 单元测试从入门到精通
点击右上角即可分享
微信分享提示