7.Spark SQL

  1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

　　SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O，降低的运行效率，为了提高SQL-on-Hadoop的效率，大量的SQL-on-Hadoop工具开始产生，其中表现较为突出的是：MapR的Drill、 Cloudera的Impala、Shark。

其中Shark是伯克利实验室Spark生态环境的组件之一，它修改了下图所示的右下角的内存管理、物理计划、执行三个模块，并使之能运行在Spark引擎上，从而使得SQL查询的速度得到10-100倍的提升。 随着Spark的发展，对于野心勃勃的Spark团队来说，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点，如内存列存储（In-Memory Columnar Storage）、Hive兼容性等，重新开发了SparkSQL代码。

数据兼容方面：不但兼容Hive，还可以从RDD、parquet文件、JSON文件中获取数据，未来版本甚至支持获取RDBMS数据以及cassandra等NOSQL数据；

性能优化方面：除了采取In-Memory Columnar Storage、byte-code generation等优化技术外、将会引进Cost Model对查询进行动态评估、获取最佳物理计划等等；

组件扩展方面：无论是SQL的语法解析器、分析器还是优化器都可以重新定义，进行扩展。

2.  简述RDD 和DataFrame的联系与区别。

结构的区别：RDD 和 DataFrame 均为 Spark 平台对数据的一种抽象，一种组织方式，但是两者的地位或者说设计目的却截然不同。

 

RDD 是整个 Spark 平台的存储、计算以及任务调度的逻辑基础，更具有通用性，适用于各类数据源，

 

而 DataFrame 是只针对结构化数据源的高层数据抽象，其中在 DataFrame 对象的创建过程中必须指定数据集的结构信息( Schema )，

 

所以 DataFrame 生来便是具有专用性的数据抽象，只能读取具有鲜明结构的数据集

使用场景的区别：RDD 是 Spark 的数据核心抽象， DataFrame 是 Spark 四大高级模块之一 Spark SQL 所处理数据的核心抽象，

 

所谓的数据抽象，就是当为了解决某一类数据分析问题时，根据问题所涉及的数据结构特点以及分析需求在逻辑上总结出的典型、普适该领域数据的一种抽象，一种泛型，一种可表示该领域待处理数据集的模型。

 

而 RDD 是作为 Spark 平台一种基本、通用的数据抽象，基于其不关注元素内容及结构的特点，我们对结构化数据、半结构化数据、非结构化数据一视同仁，都可转化为由同一类型元素组成的 RDD 。

 3、PySpark-DataFrame创建：

spark.read.text(url)

spark.read.json(url) 注意从不同文件类型生成DataFrame的区别。

spark.read.format("text").load("people.txt‘)

spark.read.format("json").load("people.json")

4、PySpark-DataFrame各种常用操作

打印数据 df.show()默认打印前20条数据

打印概要 df.printSchema()

查询总行数 df.count()

df.head(3) #list类型，list中每个元素是Row类

输出全部行 df.collect() #list类型，list中每个元素是Row类

查询概况 df.describe().show()

取列 df[‘name’], df.name, df[1]

创建临时表虚拟表 df.registerTempTable('people')

spark.sql执行SQL语句 spark.sql('select name from people').show()

 5、

Pyspark中DataFrame与pandas中DataFrame

分别从文件创建DataFrame

 

比较两者的异同 

　　1.地址写法不同

　　2.pyspark的df要通过操作查看结果

　　3.pandas的df自动加索引

pandas中DataFrame转换为Pyspark中DataFrame

Pyspark中DataFrame转换为pandas中DataFrame

 

6.从RDD转换得到DataFrame

6.1 利用反射机制推断RDD模式

创建RDD sc.textFile(url).map()，读文件，分割数据项

每个RDD元素转换成 Row

由Row-RDD转换到DataFrame

6.2 使用编程方式定义RDD模式

#下面生成“表头”

#下面生成“表中的记录”

#下面把“表头”和“表中的记录”拼装在一起

 

7、选择题

1单选(2分)‍关于Shark，下面描述正确的是：（C)

A.Shark提供了类似Pig的功能

B.Shark把SQL语句转换成MapReduce作业

C.Shark重用了Hive中的HiveQL解析、逻辑执行计划翻译、执行计划优化等逻辑

D.Shark的性能比Hive差很多

2单选(2分)‏下面关于Spark SQL架构的描述错误的是：(D)

A.在Shark原有的架构上重写了逻辑执行计划的优化部分，解决了Shark存在的问题

B.Spark SQL在Hive兼容层面仅依赖HiveQL解析和Hive元数据

C.Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责

D.Spark SQL执行计划生成和优化需要依赖Hive来完成

3单选(2分)‌要把一个DataFrame保存到people.json文件中，下面语句哪个是正确的：(A)

A.df.write.json("people.json")

B.df.json("people.json")

C.df.write.format("csv").save("people.json")

D.df.write.csv("people.json")

4多选(3分)‎Shark的设计导致了两个问题：(A,C)

A.执行计划优化完全依赖于Hive，不方便添加新的优化策略

B.执行计划优化不依赖于Hive，方便添加新的优化策略

C.Spark是线程级并行，而MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

D.Spark是进程级并行，而MapReduce是线程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

5 多选(3分)‌下面关于为什么推出Spark SQL的原因的描述正确的是：(A、B)

A.Spark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作

B.可以支持大量的数据源和数据分析算法，组合使用Spark SQL和Spark MLlib，可以融合传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力

C.Spark SQL无法对各种不同的数据源进行整合

D.Spark SQL无法融合结构化数据管理能力和机器学习算法的数据处理能力

6多选(3分)‌下面关于DataFrame的描述正确的是：（A、B、C、D）

A.DataFrame的推出，让Spark具备了处理大规模结构化数据的能力

B.DataFrame比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能

C.Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询

D.DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息

7多选(3分)‏要读取people.json文件生成DataFrame，可以使用下面哪些命令：（A、C）

A.spark.read.json("people.json")

B.spark.read.parquet("people.json")

C.spark.read.format("json").load("people.json")

D.spark.read.format("csv").load("people.json")

6、DataFrame的保存

df.write.text(dir)

df.write.json(dri)

df.write.format("text").save(dir)

df.write.format("json").save(dir)

df.write.format("json").save(dir)