HIVE 执行流程

Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapReduce,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口

 

  • 用户提交查询任务给Driver

  • 编译器获得该用户的任务

  • 编译器(Compiler)根据用户任务去MetaStore中获取需要的Hive的元数据信息

  • 编译器(Compiler)得到元数据信息,对任务进行编译,先将HiveQL转换为抽象语法树,然后将抽象语法树转换成查询块,将查询块转化为逻辑的查询计划,重写逻辑查询计划,将逻辑计划转化为物理的计划(MapReduce), 最后选择最佳的策略

  • 将最终的计划提交给Driver

  • Driver将计划转交给ExecutionEngine去执行,获取元数据信息,执行该任务,任务会直接读取HDFS中文件进行相应的操作

  • 获取执行的结果

  • 取得并返回执行结果

 

posted @ 2019-08-20 10:09  北漂屌丝  阅读(562)  评论(0编辑  收藏  举报