dremio 系统内部存储插件与自定义存储插件加载的区别

dremio 整体包含了两大类存储扩展，系统内部使用的，以及用户开发的，

整体区别

• 系统的目前是在dremio 自己启动的时候就会注册以及使用的，比如加速反射的，home，元数据存储插件
• 用户自己开发的主要是通过web ui 或者api 初始化以及维护的
• 用户以及系统存储配置的可配置性不一样，系统不能配置，类似静态，用户的可以配置，同时dremio api 以及web 管理也是通过是是否支持配置加载的

内部实际处理

• 用户插件加载处理

public ResponseList<SourceTypeTemplate> getSourceTypes() {

  final ConnectionReader connectionReader = sabotContext.getConnectionReaderProvider().get();

  final ResponseList<SourceTypeTemplate> types = new ResponseList<>();

 

  final boolean showHive = sabotContext.getOptionManager().getOption(ALLOW_HIVE_SOURCE);

 

  for(Class<? extends ConnectionConf<?, ?>> input : connectionReader.getAllConnectionConfs().values()) {

    // we can't use isInternal as its not a static method, instead we only show listable sources,内部判断

    if (isListable(input)) {

      String sourceType = input.getAnnotation(SourceType.class).value();

      if (!showHive && "HIVE".equals(sourceType)) {

        continue;

      }

 

      if (sabotContext.getSourceVerifierProvider().get().isSourceSupported(sourceType)) {

        types.add(SourceTypeTemplate.fromSourceClass(input, false));

      }

    }

  }

 

  return types;

}

内部判断处理

private boolean isListable(Class<? extends ConnectionConf<?, ?>> clazz) {

  SourceType type = clazz.getAnnotation(SourceType.class);

  return type != null && type.configurable() && type.listable();

}

• SourceType 注解

@Retention(RetentionPolicy.RUNTIME)

@Target({ElementType.TYPE})

public @interface SourceType {

  String value();

  String label() default "";

  String uiConfig() default "";

  boolean configurable() default true;

  boolean listable() default true;

  boolean externalQuerySupported() default false;

  boolean previewEngineRequired() default false;

}

• 系统插件加载处理
  以前说过，通过SystemStoragePluginInitializer 加载的，实际上是通过直接硬编码处理的

参考资料

dac/backend/src/main/java/com/dremio/dac/api/SourceResource.java
sabot/kernel/src/main/java/com/dremio/exec/store/dfs/InternalFileConf.java
dac/backend/src/main/java/com/dremio/dac/homefiles/HomeFileConf.java
services/accelerator/src/main/java/com/dremio/service/reflection/materialization/AccelerationStoragePluginConfig.java