【转】SparkSQL sql解析

原文：

1. 背景

搞了快两年OLAP平台的开发，其中sql的解析优化通过SparkSQL完成，这里简单介绍一下原理

2. Demo

假设你已经搭建了spark，hive环境，我们这边查询下hive表，代码如下：

这里主要做了三件事：

1、构建SparkSession

2、执行sql构建DataFrame

3、调用show方法触发action操作，展示结果，调用queryExecution.toString则可以打印各个阶段逻辑计划

3. 流程解析

这里我们主要研究上述Demo步骤2的流程，对SparkSQL有一定了解的同学肯定知道，一条sql进来，要经历五大解析阶段：

1、初步解析为Unresolved LogicalPlan

2、绑定schema信息解析为Analyzed LogicalPlan，规则见Analyzer类batches

3、结合RBO,CBO规则优化为Optimized LogicalPlan，规则见SparkOptimizer类defaultBatches

4、将Optimized LogicalPlan转化为物理计划Physical Plan，并选择可以执行的（目前选择第一个，未能实现真正意义上的CBO）

5、将可执行的Physical Plan转化为RDD[InternalRow]，最终返回QueryExecution对象，并用这玩意结合schema信息构建DataFrame

上述各个LogicalPlan的构建的执行方法均在RuleExecutor的execute方法中，对于优化阶段Optimized LogicalPlan的构建，无非是遍历一个个优化规则调用apply方法，将树形结构的LogicalPlan作为参数传入，自底向上或者自顶向下遍历，case匹配进行转换，返回新的LogicalPlan，然后作为参数应用于下一个优化规则