从上层来看,每个Spark 应用都由一个驱动器程序(driver program)来发起集群上的各种并行操作。驱动器程序包含应用的main 函数,并且定义了集群上的分布式数据集,还对这些分布式数据集应用了相关操作。
驱动器程序通过一个SparkContext 对象来访问Spark。这个对象代表对计算集群的一个连接.
一旦有了SparkContext,你就可以用它来创建RDD.
Copyright © 2024 打杂滴 Powered by .NET 8.0 on Kubernetes