7.spark sql
1 分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Dataset API三种方式实现对结构化数据的处理。但无论是哪种API或者是编程语言，都是基于同样的执行引擎，因此可以在不同的API之间随意切换。
Spark SQL的前身是 Shark，Shark最初是美国加州大学伯克利分校的实验室开发的Spark生态系统的组件之一，它运行在Spark系统之上，Shark重用了Hive的工作机制，并直接继承了Hive的各个组件， Shark将SQL语句的转换从MapReduce作业替换成了Spark作业，虽然这样提高了计算效率，但由于 Shark过于依赖Hive，因此在版本迭代时很难添加新的优化策略，从而限制了Spak的发展，在2014年，伯克利实验室停止了对Shark的维护，转向Spark SQL的开发。
2 简述RDD 和DataFrame的联系与区别。
RDD:
分布式的java对象的集合
Spark框架本身不了解内部结构
转换操作
行动操作
面向对象的编程风格
DataFram能做的事情RDD都能做，RDD能做的事情DataFrame不一定能做
DataFrame:
分布式的Row对象的集合
DataFrame带有schema元信息.
Spark SQL清楚地知道该数据集中包含哪些列，每列的名称和类型。
新的操作数据的方法
SQL
提升执行效率、减少数据读取以及执行计划的优化
3 PySpark-DataFrame创建和保存
创建people.txt文件和people.json文件
点击查看代码
vim people.json
# 文件内容
{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}
vim people.txt
# 文件内容
Michael, 29
Andy, 30
Justin, 19
3.1 DataFrame创建
点击查看代码
spark.read.text("file:///home/hadoop/people.txt").show()
spark.read.json("file:///home/hadoop/people.json").show()
spark.read.format("text").load("file:///home/hadoop/people.txt").show()
spark.read.format("json").load("file:///home/hadoop/people.json").show()
3.2 DataFrame的保存
点击查看代码
txtdf = spark.read.text("file:///home/hadoop/people.txt")
jsondf = spark.read.json("file:///home/hadoop/people.json")
txtdf.write.text("file:///home/hadoop/pydf/people1_txt")
jsondf.write.json("file:///home/hadoop/pydf/people1_json")
txtdf.write.format("text").save("file:///home/hadoop/pydf/people2_txt")
jsondf.write.format("json").save("file:///home/hadoop/pydf/people2_json")
4. PySpark-DataFrame各种常用操作
5. Pyspark中DataFrame与pandas中DataFrame
4 选择题
1单选(2分)关于Shark，下面描述正确的是：C
A.Shark提供了类似Pig的功能
B.Shark把SQL语句转换成MapReduce作业
C.Shark重用了Hive中的HiveQL解析、逻辑执行计划翻译、执行计划优化等逻辑
D.Shark的性能比Hive差很多
2单选(2分)下面关于Spark SQL架构的描述错误的是：D
A.在Shark原有的架构上重写了逻辑执行计划的优化部分，解决了Shark存在的问题
B.Spark SQL在Hive兼容层面仅依赖HiveQL解析和Hive元数据
C.Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责
D.Spark SQL执行计划生成和优化需要依赖Hive来完成
3单选(2分)要把一个DataFrame保存到people.json文件中，下面语句哪个是正确的：A
A.df.write.json("people.json")
B.df.json("people.json")
C.df.write.format("csv").save("people.json")
D.df.write.csv("people.json")
4多选(3分)Shark的设计导致了两个问题：AC
A.执行计划优化完全依赖于Hive，不方便添加新的优化策略
B.执行计划优化不依赖于Hive，方便添加新的优化策略
C.Spark是线程级并行，而MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支
D.Spark是进程级并行，而MapReduce是线程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支
5 多选(3分)下面关于为什么推出Spark SQL的原因的描述正确的是：AB
A.Spark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作
B.可以支持大量的数据源和数据分析算法，组合使用Spark SQL和Spark MLlib，可以融合传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力
C.Spark SQL无法对各种不同的数据源进行整合
D.Spark SQL无法融合结构化数据管理能力和机器学习算法的数据处理能力
6多选(3分)下面关于DataFrame的描述正确的是：ABCD
A.DataFrame的推出，让Spark具备了处理大规模结构化数据的能力
B.DataFrame比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能
C.Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询
D.DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息
7多选(3分)要读取people.json文件生成DataFrame，可以使用下面哪些命令：AC
A.spark.read.json("people.json")
B.spark.read.parquet("people.json")
C.spark.read.format("json").load("people.json")
D.spark.read.format("csv").load("people.json")
8单选(2分)以下操作中，哪个不是DataFrame的常用操作：D
A.printSchema()
B.select()
C.filter()
D.sendto()
9多选(3分)从RDD转换得到DataFrame包含两种典型方法，分别是：AB
A.利用反射机制推断RDD模式
B.使用编程方式定义RDD模式
C.利用投影机制推断RDD模式
D.利用互联机制推断RDD模式
10多选(3分)使用编程方式定义RDD模式时，主要包括哪三个步骤：ABD
A.制作“表头”
B.制作“表中的记录”
C.制作映射表
D.把“表头”和“表中的记录”拼装在一起
