1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。
2.请详细阐述Spark的几个主要概念及相互关系:
Master, Worker; RDD,DAG; Application, job,stage,task; driver,executor,Claster Manager
DAGScheduler, TaskScheduler.
Master, Worker; RDD,DAG; Application, job,stage,task; driver,executor,Claster Manager
DAGScheduler, TaskScheduler.
Master:主控节点,顾名思义,类似于领导者,在整个集群中,最多只有一个Master处于Active状态。
Worker:根据Cluster Manager的指令分配资源,执行应用程序,释放资源。
RDD:弹性分布式数据集,是分布式内存的一个抽象概念,提供了一种高度受限的共享内存模型
DAG:有向无环图,反映RDD之间的依赖关系
Application应用:用户编写的Spark应用程序job
Job作业:一个作业包含多个RDD及作用于相应RDD上的各种操作
Stage阶段:是作业的基本调度单位,每个作业会因为RDD之间的依赖关系拆分成多组任务集合TaskSet,称为调度阶段。调度阶段的划分是由DAGScheduler来划分的,有Shuffle Map Stage和Resuit Stage两种
Task任务:分发到Executor上的工作任务,是spark实际执行应用的最小单元
Driver:提交了应用之后,便会启动一个对应的 driver 进程。driver 进程就是应用的 main()函数,并且构建 SparkContext 对象。向Manger申请应用所需的资源,启动Executor,向Executor发送代码和文件。
Executor:进程宿主在worker节点上,一个 worker 可以有多个executor ,负责运行任务Task
①每个 executor 持有一个线程池,每个线程可以执行一个 task,并将结果返回给 Driver 。
②块管理器Block Manager,为RDD 提供内存存储(内存+磁盘)
Claster Manager:集群资源管理器,自带的或Mesos或YARN,负责申请和管理在Worker Node上运行应用所需的资源。
DAGScheduler:面向调度阶段的任务调度器,负责接收spark应用提交的作业,根据RDD的依赖关系划分调度阶段,并提交调度阶段给TaskScheduler.
TaskScheduler:面向任务的调度器,它接受DAGScheduler提交过来的调度阶段,然后把任务分发到work节点运行,由Worker节点的Executor来运行该任务
3.在PySparkShell尝试以下代码,观察执行结果,理解sc,RDD,DAG。请画出相应的RDD转换关系图。
RDD转换关系图: