3.Spark设计与运行原理，基本操作

1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。

Spark的生态系统，具体如下图1所示：

　通过图1可以看出，Spark生态系统主要包含Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX以及独立调度器，下面针对上述组件进行一一介绍。

　　Spark Core：Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed Datasets，简称RDD)的API 定义，RDD是只读的分区记录的集合，只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。

　　Spark SQL：用来操作结构化数据的核心组件，通过Spark SQL可以直接查询Hive、HBase等多种外部数据源中的数据。Spark SQL的重要特点是能够统一处理关系表和RDD。在处理结构化数据时，开发人员无需编写MapReduce程序，直接使用SQL命令就能完成更加复杂的数据查询操作。

　　Spark Streaming：Spark提供的流式计算框架，支持高吞吐量、可容错处理的实时流式数据处理，其核心原理是将流数据分解成一系列短小的批处理作业，每个短小的批处理作业都可以使用Spark Core进行快速处理。Spark Streaming支持多种数据源，例如Kafka、Flume以及TCP套接字等数据源。

　　MLlib：Spark提供的关于机器学习功能的算法程序库，包括分类、回归、聚类、协同过滤算法等，还提供了模型评估、数据导入等额外的功能，开发人员只需了解一定的机器学习算法知识就能进行机器学习方面的开发，降低了学习成本。

　　GraphX：Spark提供的分布式图处理框架，拥有对图计算和图挖掘算法的API接口以及丰富的功能和运算符，极大的方便了对分布式图处理的需求，能在海量数据上运行复杂的图算法。

　　独立调度器、Yarn、Mesos：Spark框架可以高效地在一个到数千个节点之间伸缩计算，集群管理器则主要负责各个节点的资源管理工作，为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器(Cluster Manager)上运行，Hadoop Yarn、Apache Mesos以及Spark自带的独立调度器都被称为集群管理器。

 

2.请详细阐述Spark的几个主要概念及相互关系：

   RDD,DAG,Application, job,stage,task,Master, worker, driver,executor,Claster Manager

RDD：弹性分布式数据集，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。

DAG：有向无环图，反映RDD之间的依赖关系。

Application应用：用户编写的Spark应用程序job。

Job作业：一个作业包含多个RDD及作用于相应RDD上的各种操作。

Stage阶段：是作业的基本调度单位，每个作业会因为RDD之间的依赖关系拆分成多组任务集合TaskSet，称为调度阶段。调度阶段的划分是由DAGScheduler来划分的，有Shuffle Map Stage和Resuit Stage两种。

Task任务：分发到Executor上的工作任务，是spark实际执行应用的最小单元。

Master：主控节点，顾名思义，类似于领导者，在整个集群中，最多只有一个Master处于Active状态。

Worker：根据Cluster Manager的指令分配资源，执行应用程序，释放资源。

Driver：提交了应用之后，便会启动一个对应的 driver 进程。driver 进程就是应用的 main()函数，并且构建 SparkContext 对象。向Manger申请应用所需的资源，启动Executor，向Executor发送代码和文件。

Executor：进程宿主在worker节点上，一个 worker 可以有多个executor ,负责运行任务Task

• 每个 executor 持有一个线程池，每个线程可以执行一个 task，并将结果返回给 Driver 。
• 块管理器Block Manager，为RDD 提供内存存储（内存+磁盘）

Claster Manager：集群资源管理器，自带的或Mesos或YARN，负责申请和管理在Worker Node上运行应用所需的资源。

3.在PySparkShell尝试以下代码，观察执行结果，理解sc,RDD,DAG。请画出相应的RDD转换关系图。

>>> sc

>>> lines = sc.textFile("file:///home/hadoop/my.txt")

>>> lines

>>> words=lines.flatMap(lambda line:line.split())

>>> words

>>> wordKV=words.map(lambda word:(word,1))

>>> wordKV

>>> lineKV=lines.map(lambda line:(1,line))

>>> lineKV

>>> lines.foreach(print)

>>> words.foreach(print)

>>>wordKV.foreach(print)

>>>lineKV.foreach(print)

 自己生成sc

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc=SparkContext(conf=conf)

 

 

 

 

 

 

 

 

 

 

 

 RDD转换关系图