摘要: 本篇主要讲解spark运行架构,包含如下内容: Spark运行架构 基本概念 Application Spark的应用程序,包含一个Driver program和若干Executor SparkContext Spark应用程序的入口,负责调度各个运算资源,协调各个Worker Node的Execu 阅读全文
posted @ 2018-06-27 22:26 aidodoo 阅读(624) 评论(0) 推荐(0) 编辑
摘要: spark简介和生态系统 Spark最初由美国加州伯克利大学(UCBerkeley)的AMP(Algorithms, Machines and People)实验室于2009年开发,是基于内存计算的大数据并行计算框架,相对对hadoop有如下特点 特点 运行速度快 Spark拥有DAG执行引擎,支持 阅读全文
posted @ 2018-06-27 21:55 aidodoo 阅读(520) 评论(0) 推荐(0) 编辑