摘要: Python On Spark的执行流程 分布式代码执行的重要特征? 代码在集群上运行,是被分布式运行的。 在Spark中,非任务处理部分由Driver执行(非RDD代码) 任务处理部分是由Executor执行(RDD代码) Executor的数量可以很多,所以任务的计算是分布式在运行的。 Pysp 阅读全文