Hive学习笔记

Hive工作原理

流程大致步骤为：

1. 用户提交查询等任务给Driver。

2. 编译器获得该用户的任务Plan。

3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。

4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。

5. 将最终的计划提交给Driver。

6. Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者SourceManager执行该任务，任务会直接读取HDFS中文件进行相应的操作。

7. 获取执行的结果。

8. 取得并返回执行结果。

 

Hive底层与数据库的交互原理

Hive的查询功能是由hdfs+mapreduce结合起来实现的。

Hive与mysql的关系：只是借用mysql来存储hive中的表的元数据信息，称之为metastore

 

Hive 内部表和外部表的区别

内部表：建表时会在hdfs上创建一个表的存储目录，增加分区的时候会将数据复制到此location下，删除数据的时候将表的数据和元数据一起删除。

外部表：一般建立分区，在增加分区的时候不会将数据移到此表的location下，删除数据的时候只是删除了表的元数据，表的数据不会删除。