dremio 查询执行阶段简单说明

内容实际来自官方架构介绍，图以前也在博客中放过，现在进行说明下

参考执行图

阶段说明

参考上图，dremio将执行分为可4个阶段

• 客户端通过jdbc，odbc，rest 提交查询到协调节点
• 计划阶段 
  此阶段可以细分3步 
  a. 协调节点解析查询为dremio的通用关系模型 
  b. 协调节点基于数据源的统计信息，生成查询执行计划，以及源的功能能力 
  c. 协调节点进行查询计划的重写（会使用到数据反射，考虑的东西比较多，比如排序，分区，数据分布，以及数据源的能力）
• 执行 
  此阶段可以细分3步 
  a. 引擎从数据源并行的读取数据为arrow buffers，数据通常直接来自数据湖存储，有时也可能来自数据反射，或者外部数据源 
  当读取外部数据源的时候，引擎提交的是原生查询（jdbc ，mongo。。。） 
  b. 引擎执行查询的查询计划 
  c. 一个引擎合并来自一个或者多个引擎的数据，并通过stream 的模式到协调节点（pipeline）
• 客户端从协调节点接受数据

说明

所有的数据操作都在执行节点（实际是指sql 数据类的操作），dremio 的执行实际上与大部分分布式查询引擎的流程类似（trino 等），只是dremio 又提供了不少其他比较方便的能力可以加速数据的使用

参考资料

https://www.dremio.com/downloads/DremioArchitectureGuide.pdf
https://www.dremio.com/blog/dremio-cloud-under-the-hood/
https://docs.dremio.com/24.2.x/help-support/lakehouse-arch/