Hive源码解析
date: 2020-07-08 15:12:00
updated: 2020-08-21 17:38:00
Hive源码解析
入口：hive-cli-1.1.0-cdh5.14.4.jar!/org/apache/hadoop/hive/cli/CliDriver.class
1. 启动
命令行输入 hive 后，启动log进程，建立一个客户端Session，获取到服务器的hive conf配置文件，启动客户端
启动后 executeDriver(CliSessionState ss, HiveConf conf, OptionsProcessor oproc) 一直监听输入的 line; line 会按照 ; 来进行分割拼接成 command，对每一个 command 依次进行处理。command 一共分四种情况：① quit\exit ② source FilePath 指定执行某个文件里的语句 ③ 以 ! 开头的 shell 命令 ④ 本地客户端的各种命令(processLocalCmd(String cmd, CommandProcessor proc, CliSessionState ss))
通过读取 conf 配置，拿到 Driver 信息，然后交给对应的 Driver 来执行命令：org.apache.hadoop.hive.ql.Driver.compile(String command, boolean resetTaskIds, boolean deferClose)
2. 解析命令
在 Driver 拿到命令后，runInternal(command, alreadyCompiled); 判断是否已经编译过，如果没有的话，首先要进行语法解析，通过 org.apache.hadoop.hive.ql.parse.parseDriver.parse(String command, Context ctx) 生成 AST(AbstractSyntaxTree) 抽象语法树
在 parse 目录下存放5个文件
- HiveLexer.g ：定义Hive关键字，及组成词组的合法字符
定义的规则如下：
```
KW_SELECT : 'SELECT';
KW_WHERE : 'WHERE';
KW_FROM : 'FROM';
fragment
Letter
: 'a'..'z' | 'A'..'Z'
;
```
- SelectClauseParser.g ：定义select语句的语法规则
- FromClauseParser.g ：定义from语句的语法规则
- IdentifiersParser.g ：定义函数、group等的语法规则
- HiveParser.g：定义语法规则文件，引入了其他语法规则文件
BaseSemanticAnalyzer sem = SemanticAnalyzerFactory.get(this.conf, tree); 对拿到的AST进行解析
this.schema = getSchema(sem, this.conf); 返回Hive表的字段信息
this.plan = new QueryPlan(queryStr, sem, perfLogger.getStartTime("Driver.run"), queryId, SessionState.get().getHiveOperation(), this.schema, this.queryDisplay); 生成执行计划
this.plan.getFetchTask().initialize(this.conf, this.plan, (DriverContext)null); 对执行计划中拉取数据的任务进行初始化
针对 QueryPlan，调用 Driver.exexute() 执行job
String queryId = this.conf.getVar(ConfVars.HIVEQUERYID);
String queryStr = HiveConf.getVar(this.conf, ConfVars.HIVEQUERYSTRING);
3. Hive 可使用的函数
hive-exec 包下 org.apache.hadoop.hive.ql.exec.FunctionRegistry.java
