Spark 编程模型(上)

 

 

 

 

                                                                 Spark的编程模型

 

核心概念（注意对比MR里的概念来学习）

 

 

Spark Application的组成 

 

 

Spark Application基本概念

 

 

 

 

Spark Application编程模型

 

 

回顾scala版本的 wordcount程序

 

 

                                                                                                                                                                           

 

初识RDD

什么是RDD

 

 

 RDD接口

 

 

 

RDD的本质特征

 

RDD -- partitions

 

 

 

RDD-preferredLocations

 

RDD-dependencies

 

 

 

RDD-compute

 

RDD-partitioner

RDD-lineage

 

 典型RDD的特征

 

 

不同角度看RDD

 

Scheduler Optimizations