第三次作业

1.Spark生态系统的组成及各组件的功能。

1 . Spark Core：Spark的核心组件，其操作的数据对象是RDD（弹性分布式数据集）
图中在Spark Core上面的四个组件都依赖于Spark Core，可以简单认为Spark Core就是Spark生态系统中的离线计算框架，eg：Spark Core中提供的map，reduce算子可以完成mapreduce计算引擎所做的计算任务

2 . Spark Streaming：Spark生态系统中的流式计算框架，其操作的数据对象是DStream，其实Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark Core，也就是把Spark Streaming的输入数据按照batch size（批次间隔时长）（如1秒）分成一段一段的数据系列（DStream），每一段数据都转换成Spark Core中的RDD，然后将Spark Streaming中对DStream的转换计算操作变为针对Spark中对RDD的转换计算操作，如下官方提供的图

在内部实现上，DStream由一组时间序列上连续的RDD来表示。每个RDD都包含了自己特定时间间隔内的数据流（如上图中0到1秒接收到的数据成为一个RDD,1到2秒接收到的数据成为一个RDD）,使用Spark Streaming对图中DStream的操作就会转化成使用Spark Core中的对应算子（函数）对Rdd的操作

3 . Spark Sql：可以简单认为可以让用户使用写SQL的方式进行数据计算，SQL会被SQL解释器转化成Spark core任务，让懂SQL不懂spark的人都能通过写SQL的方式进行数据计算，类似于hive在Hadoop生态圈中的作用，提供SparkSql CLI（命令行界面），可以再命令行界面编写SQL

4 . Spark Graphx：Spark生态系统中的图计算和并行图计算，目前较新版本已支持PageRank、数三角形、最大连通图和最短路径等6种经典的图算法

5 . Spark Mlib：一个可扩展的Spark机器学习库，里面封装了很多通用的算法，包括二元分类、线性回归、聚类、协同过滤等。用于机器学习和统计等场景

6 . Tachyon：Tachyon是一个分布式内存文件系统，可以理解为内存中的HDFS

7 . Local，Standalone，Yarn，Mesos：Spark的四种部署模式，其中Local是本地模式，一般用来开发测试，Standalone是Spark 自带的资源管理框架，Yarn和Mesos是另外两种资源管理框架，Spark用哪种模式部署，也就是使用了哪种资源管理框架

2.请详细阐述Spark的几个主要概念及相互关系：

RDD,DAG,Application, job,stage,task,Master, worker, driver,executor,Claster Manager

1. Application
用户在spark上构建的程序，包含了driver程序以及集群上的executors.

2. Driver Program
运行main函数并且创建SparkContext的程序。
客户端的应用程序，Driver Program类似于Hadoop的wordcount程序的main函数。

3.Cluster Manager
    集群的资源管理器，在集群上获取资源的外部服务。
    Such as Standalone、Mesos、Yarn。
    拿Yarn举例，客户端程序会向Yarn申请计算我这个任务需要多少的内存，多少CPU，etc。然后Cluster Manager会通过调度告诉客户端可以使用，然后客户端就可以把程序送到每个Worker Node上面去执行了。

4.Worker Node
集群中任何一个可以运行spark应用代码的节点。
Worker Node就是物理节点，可以在上面启动Executor进程。

5.Executor
在每个WorkerNode上为某应用启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上，每个任务都有各自独立的Executor。
Executor是一个执行Task的容器。它的主要职责是：

1、初始化程序要执行的上下文SparkEnv，解决应用程序需要运行时的jar包的依赖，加载类。

2、同时还有一个ExecutorBackend向cluster manager汇报当前的任务状态，这一方面有点类似hadoop的tasktracker和task。
总结：Executor是一个应用程序运行的监控和执行容器。

6.Job
包含很多task的并行计算，可以认为是Spark RDD 里面的action,每个action的计算会生成一个job。用户提交的Job会提交给DAGScheduler，Job会被分解成Stage和Task。

7.Stage
一个Job会被拆分为多组Task，每组任务被称为一个Stage就像Map Stage， Reduce Stage。
Stage的划分在RDD的论文中有详细的介绍，简单的说是以shuffle和result这两种类型来划分。在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。比如 rdd.parallize(1 to 10).foreach(println) 这个操作没有shuffle，直接就输出了，那么只有它的task是resultTask，stage也只有一个；如果是rdd.map(x => (x, 1)).reduceByKey(_ + _).foreach(println), 这个job因为有reduce，所以有一个shuffle过程，那么reduceByKey之前的是一个stage，执行shuffleMapTask，输出shuffle所需的数据，reduceByKey到最后是一个stage，直接就输出结果了。如果job中有多次shuffle，那么每个shuffle之前都是一个stage。

8.Task
    被送到executor上的工作单元。
    Spark上分为2类task。
    1.shuffleMapTask
     * A ShuffleMapTask divides the elements of an RDD into multiple buckets (based on a partitioner
         * specified in the ShuffleDependency).

2.resultTask
* A task that sends back the output to the driver application.

9. Partition
Partition类似hadoop的Split，计算是以partition为单位进行的，当然partition的划分依据有很多，这是可以自己定义的，像HDFS文件，划分的方式就和MapReduce一样，以文件的block来划分不同的partition。总而言之，Spark的partition在概念上与hadoop中的split是相似的，提供了一种划分数据的方式。

附录：
RDD的一大卖点就是有依赖关系存储在每一个RDD里面，当某一个RDD计算的时候发现parent RDD的数据丢失了，那它就会从parent的parent RDD重新计算一遍以恢复出parent数据，如果一直没找到，那么就会找到根RDD，有可能是HadoopRDD，那么就会从HDFS上读出数据一步步恢复出来。当然如果完全找不到数据，那么就恢复不出来了。在论文中称之为RDD的lineage信息。

另外RDD这个对象是存储在client中的，而RDD的数据才是存储在worker上的，只要RDD对象不被GC掉数据是可以通过lineage信息恢复的。