Spark SQL原理详解及优化器
一.简介
从Spark 1.3开始，Spark SQL正式发布。而之前的另一个基于Spark的SQL开源项目Shark随之停止更新，基于Spark的最佳SQL计算就是Spark SQL。Spark SQL是Spark的一个模块，专门用于处理结构化数据。Spark SQL与Spark核心及其他模块之间的关系如下：
Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。与Spark SQL交互的方法有很多种，包括SQL和Dataset API。计算结果时，将使用相同的执行引擎，而与用的表达计算API或语言无关。这种同一意味着开发人员可以轻松地在不同的API之间来回切换，从而提供最自然的方式表达给定的转换。
二.Dataset & DataFrame
数据集时数据的分布式集合。数据集是Spark 1.6中添加的新接口，它具有RDD的优点【强类型输入，使用强大的Lambda函数的能力】和Spark SQL的优化执行引擎的优点。数据集可以从JVM对象中构造，然后使用功能性的转换【操作map、flatMap、filter等】。Dataset API在Scala和Java中都可使用。Python不支持Dataset API。但是由于Python的动态特性，Dataset API的许多优点已经可用。R语言与之类似。
DataFrame从概念上讲，它等效于关系数据库中的表或R/Python中的数据框，但是在后台进行了更丰富的优化，可以从多种来源构造DataFrame。例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。DataFrame API在Scala，Java，Python和R中都可以使用。在Scala和Java中，DataFrame表示由Row构成的数据集。在Scala API中，DataFrame只是类型Dataset[Row]的别名。而在Java API中，用户需要使用Dataset<Row>来代表DataFrame。
三.整体架构
注意：Spark SQL是Spark Core之上的一个模块，所有SQL操作最终都通过Catalyst翻译成类似的Spark程序代码被Spark Core调度执行，其过程也有Job、Stage、Task的概念。
四.全局临时视图
Spark SQL中的临时视图是有会话作用域的，如果创建它的会话终止，它将消失。如果要在所有会话中共享一个临时视图并保存活动状态，直到Spark应用程序终止，则需要创建全局临时视图。全局临时视图与系统保留的数据库global_temp相关联，必须使用限定名称来引用它，代码例子如下：
df.createGlobalTempView("people")
// 全局临时视图与系统保留的数据库global_temp
spark.sql("select * from global_temp.people").show()
// 全局临时视图垮会话
spark.newSession().sql("select * from global_temp.people").show()
五.创建数据集
数据集与RDD相似，但是它们不是使用Java或Kryo进行序列化，而是使用专门的Encoder对对象进行序列化以进行网络处理或传输。虽然编码器和标准序列化都负责将对象转换为字节，但是编码器是动态生成的代码，并使用一种格式，该格式允许Spark执行许多操作，例如过滤，排序和哈希处理，而无需将字节反序列化为对象。
object DataSetDeml { //设置日志级别 Logger.getLogger("org").setLevel(Level.WARN) // 放在引用的函数外部 case class Person(name : String, age : Long) def main(args: Array[String]) { val spark = SparkSession.builder().appName("Spark SQL").master("local[2]").getOrCreate() // 数据集直接的转换 import spark.implicits._ // 使用样例类创建数据集 val caseClassDS = Seq(Person("Andy", 32)).toDS() caseClassDS.show() val primitiveDS = Seq(1, 2, 3).toDS() primitiveDS.map(_ + 1).show() } }
执行结果：
六.与RDD互操作
Spark SQL支持两种将现有RDD转换为数据集的方法。第一种方法使用反射来推断包含特定对象类型的RDD的架构。这种基于反射的方法可以使代码更简洁，并且当编写Spark应用程序时已经了解架构时，可以很好地工作。
创建数据集的第二种方法是通过编程界面，该界面允许构造模式，然后将其应用于现有的RDD。尽管此方法较为冗长，但可以在运行时才知道列及其类型的情况下构造数据集。
1.使用反射
object DataFrameDeml { //设置日志级别 Logger.getLogger("org").setLevel(Level.WARN) // 放在引用的函数外部 case class Technology(name : String, level : Long, age : Long) def main(args: Array[String]) { val spark = SparkSession.builder().appName("Spark SQL").master("local[2]").getOrCreate() // 数据集直接的转换 import spark.implicits._ val technology = spark.sparkContext .textFile("D:\\software\\spark-2.4.4\\data\\sql\\dataframe.txt") .map(_.split(",")) .map(row => Technology(row(0), row(1).toLong, row(2)toLong)) .toDF() technology.show() // 注册临时视图 technology.createOrReplaceTempView("technology") // SQL查询 val level_2 = spark.sql("select name,age from technology where level = 2") level_2.show() // 指定编码器 implicit val mapEncoder = org.apache.spark.sql.Encoders.kryo[Map[String, Any]] val result = level_2.map(row => row.getValuesMap[Any](List("name", "age"))) result.show(false) } }
执行结果：
2.使用模式
val userData = Array( "2015,11,www.baidu.com", "2016,14,www.google.com", "2017,13,www.apache.com", "2015,21,www.spark.com", "2016,32,www.hadoop.com", "2017,18,www.solr.com", "2017,14,www.hive.com" ) val userDataRDD = sc.parallelize(userData) // 转化为RDD val userDataType = userDataRDD.map(line => { val Array(age, id, url) = line.split(",") Row(age, id.toInt, url) }) val structTypes = StructType(Array( StructField("age", StringType, true), StructField("id", IntegerType, true), StructField("url", StringType, true) )) // RDD转化为DataFrame val userDataFrame = sqlContext.createDataFrame(userDataType,structTypes)
七.Catalyst执行优化器
1 Catalyst最主要的数据结构是树，所有的SQL语句都会用树结构来存储，树中的每个节点都有一个类，以及0或多个子节点。Scala中定义的新的节点类型都是TreeNode这个类的子类，这些对象是不可变的。
2 Catalyst另外一个重要的概念是规则，基本上，所有的优化都是基于规则的。
3 执行过程
1 分析阶段
分析逻辑树，解决引用。
使用Catalyst规则和Catalog对象来跟踪所有数据源中的表，以解决所有未辨识的属性。
2 逻辑优化
3 物理计划
Catalyst会生成很多计划，并基于成本进行对比。接受一个逻辑计划作为输入，生产一个或多个物理计划。
4 代码生成
将Spark SQL代码编译成Java字节码。
