摘要：
spark 运行架构基本由三部分组成，包括SparkContext(驱动程序)，ClusterManager(集群资源管理器)和Executor(任务执行过程)组成。 其中SparkContext负责与ClusterManager通信，进行资源的申请.任务的分配.监控等，负责作业执行的声明周期管理。 阅读全文
posted @ 2018-08-16 10:51 打杂滴 阅读(722) 评论(0) 推荐(0) 编辑
posted @ 2018-08-16 10:51 打杂滴 阅读(722) 评论(0) 推荐(0) 编辑
Copyright © 2024 打杂滴
Powered by .NET 8.0 on Kubernetes