Spark SQL

1.1 PySpark-DataFrame创建：

　　spark.read.text(url)

　　spark.read.format("text").load("people.txt")

>>> df1 = spark.read.text('file:///usr/local/spark/examples/src/main/resources/people.txt')
>>> df1.show()

 

　　spark.read.json(url) 

　　spark.read.format("json").load("people.json")

>>> df = spark.read.json('file:///usr/local/spark/examples/src/main/resources/people.json')
>>> df.show()

　　

　　描述从不同文件类型生成DataFrame的区别。

　　　　text文件生成DataFrame时不会

　　用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

 

 

1.2 DataFrame的保存

　　df.write.text(dir)

　　df.write.format("text").save(dir)

>>> df1.write.text("file:///usr/local/spark/mycode/sparksql/newpeople.txt")

hadoop@hadoop-PC://$ cd /usr/local/spark/mycode/sparksql/newpeople.txt/
hadoop@hadoop-PC:/usr/local/spark/mycode/sparksql/newpeople.txt$ ls

 

　　df.write.json(dri)

　　df.write.format("json").save(dir)

>>>df.select("name","age").write.json("file:///usr/local/spark/mycode/sparksql/newpeople.json")

hadoop@hadoop-PC:~$ cd /usr/local/spark/mycode/sparksql/newpeople.json/
hadoop@hadoop-pc:~$ cd /usr/local/spark/mycode/sparksql/newpeople.json$ ls

 

  

2.选择题：

2.1单选(2分)‍关于Shark，下面描述正确的是：　　C

A.Shark提供了类似Pig的功能

B.Shark把SQL语句转换成MapReduce作业

C.Shark重用了Hive中的HiveQL解析、逻辑执行计划翻译、执行计划优化等逻辑

D.Shark的性能比Hive差很多

 

2.2单选(2分)‏下面关于Spark SQL架构的描述错误的是：　　　D

A.在Shark原有的架构上重写了逻辑执行计划的优化部分，解决了Shark存在的问题

B.Spark SQL在Hive兼容层面仅依赖HiveQL解析和Hive元数据

C.Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责

D.Spark SQL执行计划生成和优化需要依赖Hive来完成

 

2.3单选(2分)‌要把一个DataFrame保存到people.json文件中，下面语句哪个是正确的：　　A

A.df.write.json("people.json")

B.df.json("people.json")

C.df.write.format("csv").save("people.json")

D.df.write.csv("people.json")

 

2.4多选(3分)‎Shark的设计导致了两个问题：　　BC

A.执行计划优化完全依赖于Hive，不方便添加新的优化策略

B.执行计划优化不依赖于Hive，方便添加新的优化策略

C.Spark是线程级并行，而MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

D.Spark是进程级并行，而MapReduce是线程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

 

2.5 多选(3分)‌下面关于为什么推出Spark SQL的原因的描述正确的是：　　AB

A.Spark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作

B.可以支持大量的数据源和数据分析算法，组合使用Spark SQL和Spark MLlib，可以融合传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力

C.Spark SQL无法对各种不同的数据源进行整合

D.Spark SQL无法融合结构化数据管理能力和机器学习算法的数据处理能力

 

2.6多选(3分)‌下面关于DataFrame的描述正确的是：　　ABCD

A.DataFrame的推出，让Spark具备了处理大规模结构化数据的能力

B.DataFrame比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能

C.Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询

D.DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息

 

2.7多选(3分)‏要读取people.json文件生成DataFrame，可以使用下面哪些命令：　　AC

A.spark.read.json("people.json")

B.spark.read.parquet("people.json")

C.spark.read.format("json").load("people.json")

D.spark.read.format("csv").load("people.json")

 

3. PySpark-DataFrame各种常用操作

基于df的操作：

打印数据 df.show()默认打印前20条数据

打印概要 df.printSchema()

 

查询总行数 df.count()

df.head(3) #list类型，list中每个元素是Row类

输出全部行 df.collect() #list类型，list中每个元素是Row类

查询概况 df.describe().show()

 

取列 df[‘name’], df.name, df[1]

 

选择 df.select() 每个人的年龄+1

>>> df.select(df['name'],df['age']+1).show()

 

筛选 df.filter() 20岁以上的人员信息

>>> df.filter(df['age']<20).show()

 

筛选年龄为空的人员信息

>>> from pyspark.sql.functions import isnull
>>> df.filter(isnull('age')).show()

 

分组df.groupBy() 统计每个年龄的人数

>>> df.groupBy('age').count().show()

 

排序df.sortBy() 按年龄进行排序

>>> df.orderBy(df.age).show()
>>> df.orderBy(df.age.desc()).show()

 

基于spark.sql的操作

创建临时表 df.registerTempTable('people')

spark.sql执行SQL语句 spark.sql('select name from people').show()

 

>>> df.registerTempTable('people')
>>> spark.sql('select name from people').show()

 

pyspark中DataFrame与pandas中DataFrame

分别从文件创建两种DataFrame

查看两种df的区别

 

>>> df = spark.read.json('file:///usr/local/spark/examples/src/main/resources/people.json')
>>> df
>>> df.show()

>>> import pandas as pd
>>> df2 = pd.read_json("/usr/local/spark/examples/src/main/resources/people.json",lines=True)
>>> df2

 

4.选择题 

4.1单选(2分)以下操作中，哪个不是DataFrame的常用操作：　　D

A.printSchema()

B.select()

C.filter()

D.sendto()

 

6.2多选(3分)‏从RDD转换得到DataFrame包含两种典型方法，分别是：　　AB

A.利用反射机制推断RDD模式

B.使用编程方式定义RDD模式

C.利用投影机制推断RDD模式

D.利用互联机制推断RDD模式

 

6.3多选(3分)‍使用编程方式定义RDD模式时，主要包括哪三个步骤：　　　ABD

A.制作“表头”

B.制作“表中的记录”

C.制作映射表

D.把“表头”和“表中的记录”拼装在一起

 

5. PySpark-DataFrame各种常用操作

　　基于df的操作：

　　打印数据 df.show()默认打印前20条数据

　　打印概要 df.printSchema()

　　查询总行数 df.count()

　　df.head(3) #list类型，list中每个元素是Row类

　　输出全部行 df.collect() #list类型，list中每个元素是Row类

　　查询概况 df.describe().show()

　　取列 df[‘name’], df.name, df[1]

　　选择 df.select() 每个人的年龄+1

　　筛选 df.filter() 20岁以上的人员信息

　　筛选年龄为空的人员信息

　　分组df.groupBy() 统计每个年龄的人数

　　排序df.sortBy() 按年龄进行排序

　　基于spark.sql的操作

　　创建临时表 df.registerTempTable('people')

　　spark.sql执行SQL语句 spark.sql('select name from people').show()

 

5.1pyspark中DataFrame与pandas中DataFrame

　　分别从文件创建两种DataFrame

　　查看两种df的区别

　　pandas中DataFrame转换为Pyspark中DataFrame

　　Pyspark中DataFrame转换为pandas中DataFrame

 

6.从RDD转换得到DataFrame

6.1 利用反射机制推断RDD模式

　　创建RDD sc.textFile(url).map()，读文件，分割数据项

>>> file='file:///usr/local/spark/examples/src/main/resources/people.txt'
>>> sc.textFile(file).collect()
>>> rdd = sc.textFile(file).map(lambda a:a.split(','))

 

　　每个RDD元素转换成 Row

>>> from pyspark.sql import Row
>>> people = rdd.map(lambda a : Row( name=a[0],age=int(a[1]) ) )
>>> people.collect()

 

　　由Row-RDD转换到DataFrame

>>> df = spark.createDataFrame(people)
>>> df.show()
>>> df.printSchema()

 

6.2 使用编程方式定义RDD模式

　　下面生成“表头” 

>>> from pyspark.sql.types import IntegerType,StringType
>>> from pyspark.sql.types import StructField,StructType
>>> from pyspark.sql import Row
>>> fields = [StructField('name',StringType(),True), StructField('age',IntegerType(),True)]
>>> schema = StructType(fields)

 

　　下面生成“表中的记录” 

>>> lines = spark.sparkContext.textFile(file)
>>> parts = lines.map(lambda x:x.split(','))
>>> people = parts.map(lambda p : Row(p[0],int(p[1].strip()) ))

 

　　下面把“表头”和“表中的记录”拼装在一起

>>> schemaPeople = spark.createDataFrame(people,schema)
>>> schemaPeople.printSchema()
>>> schemaPeople.show()