摘要: Driver(驱动器) Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD,以及进行RDD的转化操作和行动操作代码的执行 把用户程序转为作业(JOB) 跟踪Executor的运行状况 为执行器节点调度任务 UI展示应用运行状况 D 阅读全文
posted @ 2019-08-29 14:57 北漂屌丝 阅读(567) 评论(0) 推荐(0) 编辑
摘要: Spark Core 实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet,简称RDD)的API定义 Spark SQL 是Spark用来操作结构化数据的程序包 阅读全文
posted @ 2019-08-29 14:47 北漂屌丝 阅读(1279) 评论(0) 推荐(0) 编辑