spark架构

Spark遵循主从架构。

它的集群由一个主服务器和多个从服务器组成。

Spark架构依赖于两个抽象:

(1)弹性分布式数据集(RDD)

(2)有向无环图(DAG)

弹性分布式数据集

弹性分布式数据集是可以存储在工作节点上的内存中的数据项组。

(1)弹性:失败时恢复数据。

(2)分布式:数据分布在不同的节点之间。

(3)数据集:数据组



posted @ 2022-02-10 22:41  鯨落  阅读(54)  评论(0编辑  收藏  举报