7.Spark SQL
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。
Shark提供了类似于Hive的功能，与Hive不同的是，Shark把SQL语句转换成Spark作业，而不是MAPreduce作业。为了实现Hive的兼容，Shark重用了Hive中的Hive SQL解析、逻辑执行计划翻译、执行计划优化等逻辑。可以近似的认为，Sark仅仅将物理执行计划从Map Reduce作业替换成了Spark作业，也就是通过Hive的HiveSQL解析功能，把Hive SQL翻译成Spark上的RDD操作。Shark的出现，使得SQL-on-Hadoop的性能比Hive有了10~100倍的提高。
2.简述RDD 和DataFrame的联系与区别？
Rdd是分布式的Java对象的集合，但是，对象内部的结构对于RDD来说是不可知的。Data Frame是一种以RDD为基础的分布式数据集，提供详细的结构信息，就相当于关系数据库的一张表。
3.DataFrame的创建
spark.read.text(url)
spark.read.json(url)
spark.read.format("text").load("people.txt")
spark.read.format("json").load("people.json")
描述从不同文件类型生成DataFrame的区别。
txt文件：创建的DataFrame数据没有结构
json文件：创建的DataFrame数据有结构
用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。
区别：
DataFrame可以看作是分布式的Row对象的集合，在二维表数据集的每一列都带有名称和类型，这就是Schema元信息，这使得Spark框架可以获取更多的数据结构信息，从而对在 DataFrame背后的数据源以及作用于DataFrame之上数据变换进行了针对性的优化，最终达到大幅提升计算效率。
RDD是分布式的Java对象的集合，例如图4-3中的RDD[Person]数据集，虽然它以Person为类型参数，但是对象内部之间的结构相对于Spark框架本身是无法得知的，这样在转换数据形式时效率相对较低。
4. PySpark-DataFrame各种常用操作
基于df的操作：
打印数据 df.show()默认打印前20条数据
打印概要 df.printSchema()
查询总行数 df.count()
df.head(3) #list类型，list中每个元素是Row类
输出全部行 df.collect() #list类型，list中每个元素是Row类
查询概况 df.describe().show()
取列 df[‘name’], df.name, df[1]
选择 df.select() 每个人的年龄+1
筛选 df.filter() 20岁以上的人员信息
筛选年龄为空的人员信息
分组df.groupBy() 统计每个年龄的人数
排序df.sortBy() 按年龄进行排序
基于spark.sql的操作：
创建临时表虚拟表 df.registerTempTable('people')
spark.sql执行SQL语句 spark.sql('select name from people').show()
5. Pyspark中DataFrame与pandas中DataFrame
分别从文件创建DataFrame
pandas中DataFrame转换为Pyspark中DataFrame
Pyspark中DataFrame转换为pandas中DataFrame
从创建与操作上，比较两者的异同
1. pandas中DataFrame创建出来的DataFrame有index索引，而Pyspark中DataFrame创建出来的没有。
2. 行列结构不同，pyspark中用的是Pyspark.sql.Row和Pyspark.sql.Column，而pandas中用的是Pandas.Series
3. spark中rdd是不可变得，因此dataFrame也是不可变的。而pandas中是可变得
4. pandas没有树结构输出，而spark中有
6.从RDD转换得到DataFrame
6.1 利用反射机制推断RDD模式
创建RDD sc.textFile(url).map()，读文件，分割数据项
每个RDD元素转换成 Row
由Row-RDD转换到DataFrame
6.2 使用编程方式定义RDD模式
#下面生成“表头”
#下面生成“表中的记录”
#下面把“表头”和“表中的记录”拼装在一起
浙公网安备 33010602011771号