dremio 从S3StoragePlugin看一个存储插件的开发模式
以前对于S3StoragePlugin 有过简单的说明，以下结合S3StoragePlugin 说明下如何开发一个存储扩展
一些标准模式
- 选择实现的存储插件的接口
比如s3的因为实际上就是文件系统，所以S3StoragePlugin 实现了FileSystemPlugin 接口的，同时可以复用不少已有的实现（比如表创建，修改，删除相关的）,但是s3 有特殊性，S3StoragePlugin 做了一些重写
- getDatasetHandle 实现
这个属于一个标配，可以知道存储插件中dataset 的path 信息 - getDatasetMetadata 实现
与getDatasetHandle类似也是一个标配 - listPartitionChunks 实现
与getDatasetHandle类似也是一个标配 - containerExists 实现
与getDatasetHandle类似也是一个标配 - SupportsListingDatasets 实现
属于可选，mongo以及jdbc 存储插件都实现了此接口 - SupportsExternalQuery 接口实现
属于一个可选，jdbc 实现了此接口，方便进行外部查询 - 实现规则工厂方法
FileSystemPlugin的实现如下，可以看到可以配置，但是有一个默认实现
public Class<? extends StoragePluginRulesFactory> getRulesFactoryClass() {
return context.getConfig().getClass("dremio.plugins.dfs.rulesfactory", StoragePluginRulesFactory.class, FileSystemRulesFactory.class);
}
getRulesFactoryClass 类在dremio 中还是比较重要的，会影响到查询计划的具体执行
FileSystemRulesFactory 提供的核心规则如下,主要是对于逻辑计划以及物理计划的优化规则，详细的可以查看具体实现
public Set<RelOptRule> getRules(OptimizerRulesContext optimizerContext, PlannerPhase phase, SourceType pluginType) {
switch(phase){
case LOGICAL:
ImmutableSet.Builder<RelOptRule> builder = ImmutableSet.builder();
builder.add(new FileSystemDrule(pluginType));
if(optimizerContext.getPlannerSettings().isPartitionPruningEnabled()){
builder.add(new PruneScanRuleFilterOnProject<>(pluginType, FilesystemScanDrel.class, optimizerContext));
builder.add(new PruneScanRuleFilterOnScan<>(pluginType, FilesystemScanDrel.class, optimizerContext));
builder.add(new PruneScanRuleFilterOnSampleScan<>(pluginType, FilesystemScanDrel.class, optimizerContext));
}
return builder.build();
case PHYSICAL:
return ImmutableSet.<RelOptRule>of(
new IcebergMetadataFilesystemScanPrule(pluginType, optimizerContext),
new EasyFilesystemScanPrule(pluginType),
new ParquetFilesystemScanPrule(pluginType),
new IcebergFilesystemScanPrule(pluginType, optimizerContext),
new DeltaLakeFilesystemScanPrule(pluginType, optimizerContext),
new DeltaLakeFilesystemHistoryScanPrule(pluginType),
ConvertCountToDirectScan.getAggOnScan(pluginType),
ConvertCountToDirectScan.getAggProjOnScan(pluginType),
new TableFilesFunctionScanPrule(pluginType),
new FileSystemTableOptimizePrule(optimizerContext),
new FileSystemVacuumTablePrule(optimizerContext),
new VacuumCatalogPrule()
);
default:
return ImmutableSet.<RelOptRule>of();
}
}
- subscan 实现
dremio 不管任何存储扩展实际上都会是表的处理，需要进行scan，只是不同的scan 会有一些优化规则，比如文件系统的就有不少的实现
- 对应subscan 的ProducerOperator.Creator 实现
因为s3基于了FileSystemPlugin 里边的实现不少，此Creator是在PipelineCreator中结合实际的规则选择合适的实现， 我简单介绍一个parquet 的
参考实现(ParquetOperatorCreator)，里边会关联到具体的reader 处理，也是dremio 如何获取外部source 数据的地方，对于文件系统包含了不少
实现，jdbc 的就相对简单了，直接就是jdbc 的查询处理
public class ParquetOperatorCreator implements Creator<ParquetSubScan> {
private static final org.slf4j.Logger logger = org.slf4j.LoggerFactory.getLogger(ParquetOperatorCreator.class);
@Override
public ProducerOperator create(FragmentExecutionContext fragmentExecContext, final OperatorContext context, final ParquetSubScan config) throws ExecutionSetupException {
final Stopwatch watch = Stopwatch.createStarted();
try {
ParquetSplitReaderCreatorIterator creator = new ParquetSplitReaderCreatorIterator(fragmentExecContext, context, config, true);
logger.debug("Took {} ms to create Parquet Scan.", watch.elapsed(TimeUnit.MILLISECONDS));
return creator.createScan();
} catch (Exception ex) {
throw new ExecutionSetupException("Failed to create scan operator.", ex);
}
}
public RecordReaderIterator getReaders(FragmentExecutionContext fragmentExecContext, final OperatorContext context, final ParquetSubScan config) throws ExecutionSetupException {
ParquetSplitReaderCreatorIterator creator = new ParquetSplitReaderCreatorIterator(fragmentExecContext, context, config, true);
return new PrefetchingIterator(creator);
}
}
说明
以上是结合一个实现，简单的串下dremio 存储插件实现应该做的一些事情，实际内部的处理可以多结合源码学习
参考资料
https://www.cnblogs.com/rongfengliang/p/17150854.html
sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FileSystemRulesFactory.java
plugins/s3/src/main/java/com/dremio/plugins/s3/store/S3StoragePlugin.java
sabot/kernel/src/main/java/com/dremio/exec/store/StoragePluginRulesFactory.java
sabot/kernel/src/main/java/com/dremio/exec/physical/base/SubScan.java
sabot/kernel/src/main/java/com/dremio/exec/store/parquet/ParquetOperatorCreator.java
connector/src/main/java/com/dremio/connector/metadata/SourceMetadata.java
connector/src/main/java/com/dremio/connector/metadata/extensions/SupportsListingDatasets.java
