寒假生活（spark基础总结）

合集 - 寒假生活(23)

1.寒假生活(spark的运行角色)2024-01-11

2.寒假生活（spark基础总结）2024-01-12

3.寒假生活2024-01-134.寒假生活(spark的 Standalone 架构)2024-01-215.寒假生活（Spark程序运行层次结构）2024-01-316.寒假生活（StandAlone总结）2024-01-297.寒假生活（StandAlone HA的原理总结）2024-02-028.寒假生活2024-02-039.寒假生活2024-01-3010.寒假生活2024-02-0411.寒假生活2024-02-0112.寒假生活，2024-02-0513.寒假生活2024-01-1514.寒假生活2024-01-1615.寒假生活2024-01-1816.寒假生活2024-01-1817.寒假生活(Selenium 的基本使用)2024-01-1918.寒假生活2024-01-2019.寒假生活2024-01-2220.寒假生活2024-01-2321.寒假生活2024-01-2422.寒假生活2024-01-2423.寒假生活2024-01-25

收起

Spark解决什么问题？

海量数据的计算，可以进行离线批处理以及实时流计算

Spark有哪些模块？

核心SparkCore、SQL计算（SparkSQL）、流计算（SparkStreaming ）、图计算（GraphX）、机器学习（MLlib）

Spark特点有哪些？

速度快、使用简单、通用性强、多种模式运行

Spark的运行模式？

• 本地模式

• 集群模式（StandAlone、YARN、K8S）

• 云模式

Spark的运行角色（对比YARN）？

• Master：集群资源管理（类同ResourceManager）

• Worker：单机资源管理（类同NodeManager）

• Driver：单任务管理者（类同ApplicationMaster）

• Executor：单任务执行者（类同YARN容器内的Task）

今天设计模式出分了，怎么说呢，虽然过了，但是分很低，只有69分。。。

虽然早就知道高不了，但是还是有点落差，加油努力吧，少年！！！