dremio PhysicalPlanReader 简单说明

dremio 在经过sql 解析，sql转换，优化器，物理执行计划，会包含一个基于jackson序列化的格式的执行计划信息（整体与drill是类似的）

提供的能力

• 注册自定义的jackson 序列化处理模块（包含了protobuf），以及子类型（connectionReader 以及PhysicalOperator 都会包含）
• 提供序列化以及反序列化能力（主要是protobuf 以及json 相关的，方便处理查询计划）

参考类图

 

 

SabotContext 方法中的初始化

• 参考代码

 

this.reader = new PhysicalPlanReader(config, classpathScan, lpPersistence, endpoint, catalogService, this);

• 其他模块的集成使用
  都会基于SabotContext 提供的reader provider 能力进行处理，比如MaestroServiceImpl 以及CommandCreator的调用，之后会通过参数传递给其他模块使用

说明

PhysicalPlanReader 主要是dremio 在不行阶段方便共享执行计划的一种方法（内部基于了json +protobuf+jackson），不少服务模块都间接依赖了此

参考资料

sabot/kernel/src/main/java/com/dremio/exec/planner/PhysicalPlanReader.java
sabot/kernel/src/main/java/com/dremio/exec/server/SabotContext.java
https://drill.apache.org/docs/drill-query-execution/
https://confusedcoders.com/data-engineering/apache-drill/understanding-apache-drill-logical-plan
sabot/kernel/src/main/java/com/dremio/exec/maestro/MaestroServiceImpl.java
sabot/kernel/src/main/java/com/dremio/exec/planner/sql/handlers/commands/CommandCreator.java