3.Spark设计与运行原理，基本操作
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。
结构图如下：
通过上面图片可以看出，Spark生态系统主要包含Spark Core、Spark SQL、Spark Streaming、MLib、GraphX以及独立调度器，下面对上述组件进行一一介绍。
（1）Spark Core：Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed Datasets,RDD)的API定义，RDD是只读的分区记录的集合，只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。
（2）Spark SQL：用来操作结构化数据的核心组件，通过Spark SQL可以直接查询Hive、 HBase等多种外部数据源中的数据。Spark SQL的重要特点是能够统一处理关系表和RDD在处理结构化数据时，开发人员无须编写 MapReduce程序，直接使用SQL命令就能完成更加复杂的数据查询操作。
（3）Spark Streaming：Spark提供的流式计算框架，支持高吞吐量、可容错处理的实时流式数据处理，其核心原理是将流数据分解成一系列短小的批处理作业，每个短小的批处理作业都可以使用 Spark Core进行快速处理。Spark Streaming支持多种数据源，如 Kafka以及TCP套接字等。
(4)MLlib：Spark提供的关于机器学习功能的算法程序库，包括分类、回归、聚类、协同过滤算法等，还提供了模型评估、数据导入等额外的功能，开发人员只需了解一定的机器学习算法知识就能进行机器学习方面的开发，降低了学习成本。
(5) GraphX: Spark提供的分布式图处理框架，拥有图计算和图挖掘算法的API接口以及丰富的功能和运算符，极大地方便了对分布式图的处理需求，能在海量数据上运行复杂的图算法。
(6)独立调度器、Yarn、 Mesos: Spark框架可以高效地在一个到数千个节点之间伸缩计算，集群管理器则主要负责各个节点的资源管理工作，为了实现这样的要求，同时获得最大的灵活性， Spark支持在各种集群管理器( Cluster Manager)上运行， Hadoop Yarn、Apache Mesos以及 Spark自带的独立调度器都被称为集群管理器。
2.请详细阐述Spark的几个主要概念及相互关系：
Master, Worker; RDD,DAG; Application, job,stage,task; driver,executor,Claster Manager
DAGScheduler, TaskScheduler.
Master<--->Worker <--Executor（挂载）
Master与worker的关系可以归为Master管理Worker，Worker通过Master提交，Master就发送使用调度算法给Application分配资源，完成消息的传递，实际的操作交给Worker
RDD为弹性数据集，具体操作过程中有简化计算过程的能里，Spark中只有遇到action才会执行RDD的计算，可以不用管中间结果，并且支持缓存，在内存中计算
Driver：即main函数并且构造sparkcontext对象，然后向executor申请资源，管理一个应用
Executor：挂载在Worker节点上，为程序要求缓存的RDD提供内存式存储，负责内存管理
Manager：管理应用执行过程中的资源分配
Cluster Manger：在基于standalone的Spark集群，Cluster Manger就是Master。
DAGScheduler：划分阶段，形成一系列的TaskSet，然后传给TaskScheduler，把具体的Task交给Worker节点上的Executor的线程池处理。线程池中的线程工作，通过BlockManager来读写数据。
DASGScheduler->TaskSet->TaskScheduler->Executor
Job：调用RDD的一个action，如count，即触发一个Job
Stage ：表示一个Job的DAG，会在发生shuffle处被切分，切分后每一个部分即为一个Stage
Task ： 最终被发送到Executor执行的任务
Driver由框架直接生成；
Executor执行的才是我们的业务逻辑代码。
执行的时候，框架控制我们代码的执行。Executor需要执行的结果汇报给框架也就是Driver。
3.在PySparkShell尝试以下代码，观察执行结果，理解sc,RDD,DAG。请画出相应的RDD转换关系图。
>>> sc
输出结果：
>>> lines = sc.textFile("file:///home/hadoop/TextOne.txt")
>>> lines
输出结果：
>>> words=lines.flatMap(lambda line:line.split())
>>> words
输出结果：
>>> wordKV=words.map(lambda word:(word,1))
>>> wordKV
输出结果：
>>> wc=wordKV.reduceByKey(lambda a,b:a+b)
>>> wc
输出结果：
>>> cs=lines.flatMap(lambda line:list(line))
>>> cs
输出结果：
>>> cKV=cs.map(lambda c:(c,1))
>>> cKV
输出结果：
>>> cc=cKV.reduceByKey(lambda a,b:a+b)
>>> cc
输出结果：
>>> lines.foreach(print)
输出结果：
>>> words.foreach(print)
输出结果：
>>> wordKV.foreach(print)
输出结果：
>>> cs.foreach(print)
输出结果：
>>> cKV.foreach(print)
输出结果：
>>> wc.foreach(print)
输出结果：
>>> cc.foreach(print)
输出结果：
