dremio 反射加速服务简单说明一

反射是dremio 的一个特性（相比其他查询引擎强大的地方）以下简单说明下

内部简单处理说明

• dremio 对于反射包含了自己的文件系统 （AccelerationFileSystem）
• dremio 的反射包含了自己的存储插件（AccelerationStoragePlugin）
• dremio 默认反射是parquet 格式，当然也支持基于iceberge 的（目前暂时没看到配置选项介绍）
• dremio 反射数据支持外部存储（对象存储、本地以及其他存储）
• dremio 反射的服务管理是由ReflectionAdministrationService 创建的
• dremio 包含了一个AccelerationListManager 统一进行加速的管理（当然也包含了反射的处理）
• dremio 对于反射会提供系统表，可以方便分析使用（sys表）
• dremio 的反射任务是后台处理的（dremio基于自己的任务调度处理）
• dremio 的反射包含了普通的（raw 以及聚合类型的），以及外部（数据存储在外部系统数据源中）

反射子类

 

 

反射配置

• dremio 简单反射存储位置

accelerator: ${paths.dist}/accelerator

参考资料

https://docs.dremio.com/software/advanced-administration/dremio-conf/
https://docs.dremio.com/software/deployment/dist-store-config/
sabot/kernel/src/main/java/com/dremio/exec/store/sys/accel/AccelerationListManager.java
services/accelerator/src/main/java/com/dremio/service/accelerator/AccelerationListManagerImpl.java
services/accelerator/src/main/java/com/dremio/service/reflection/store/ReflectionGoalsStore.java