dremio 反射加速服务简单说明一
反射是dremio 的一个特性(相比其他查询引擎强大的地方)以下简单说明下
内部简单处理说明
- dremio 对于反射包含了自己的文件系统 (AccelerationFileSystem)
- dremio 的反射包含了自己的存储插件(AccelerationStoragePlugin)
- dremio 默认反射是parquet 格式,当然也支持基于iceberge 的(目前暂时没看到配置选项介绍)
- dremio 反射数据支持外部存储(对象存储、本地以及其他存储)
- dremio 反射的服务管理是由ReflectionAdministrationService 创建的
- dremio 包含了一个AccelerationListManager 统一进行加速的管理(当然也包含了反射的处理)
- dremio 对于反射会提供系统表,可以方便分析使用(sys表)
- dremio 的反射任务是后台处理的(dremio基于自己的任务调度处理)
- dremio 的反射包含了普通的(raw 以及聚合类型的),以及外部(数据存储在外部系统数据源中)
反射子类
反射配置
- dremio 简单反射存储位置
accelerator: ${paths.dist}/accelerator
参考资料
https://docs.dremio.com/software/advanced-administration/dremio-conf/
https://docs.dremio.com/software/deployment/dist-store-config/
sabot/kernel/src/main/java/com/dremio/exec/store/sys/accel/AccelerationListManager.java
services/accelerator/src/main/java/com/dremio/service/accelerator/AccelerationListManagerImpl.java
services/accelerator/src/main/java/com/dremio/service/reflection/store/ReflectionGoalsStore.java