dremio 存储插件查找&home space&用户创建space处理简单说明
dremio中space或者home 中的view 实际后边都会转换到实际存储插件对应的table，只是处理上少有不同
整体简单处理
核心是dremio 通过apache calcite 的sql 校验中的处理，catalogreader 是自己的实现DremioCatalogReader，里边需要通过
PlannerCatalog 进行table 的check （实际的getValidatedTableWithSchema 方法）
- 参考方法
public DremioTable getValidatedTableWithSchema(NamespaceKey key) {
return convertView(metadataCatalog.getTableForQuery(key));
}
注意: 其中获取到table之后还会进行一个convertView 转换，核心是将viewtable （vds）转换为实际上的物理执行（calcite type）
- convertView 简单处理
dremio 是转换为了一个convertedViewTable，因为实际一个viewtable 可能是多个物理表的关联，
protected DremioTable convertView(DremioTable table) {
if (table == null || !(table instanceof ViewTable)) {
return table;
}
ViewTable viewTable = (ViewTable) table;
Pair<CatalogIdentity, VersionedPath> viewCacheKey = Pair.of(viewTable.getViewOwner(),
VersionedPath.of(viewTable.getPath().getPathComponents(), viewTable.getVersionContext()));
ConvertedViewTable convertedViewTable = convertedViewTables.get(viewCacheKey);
if (convertedViewTable == null) {
DremioToRelContext.DremioQueryToRelContext context = DremioToRelContext.createQueryContext(converter);
RelRoot root = context.expandView(viewTable);
final RelDataType validatedRowTypeWithNames;
if (viewTable.getView().hasDeclaredFieldNames()) {
final List<String> fieldNames = viewTable.getView().getFieldNames();
final List<RelDataTypeField> validatedFields = root.validatedRowType.getFieldList();
Preconditions.checkState(fieldNames.size() == validatedFields.size(),
String.format("Cardinality mismatch between view field names %s and converted field list %s",
fieldNames, root.validatedRowType.getFullTypeString()));
List<RelDataTypeField> fields = new ArrayList<>();
for (int i = 0; i < validatedFields.size(); i++) {
final RelDataTypeField field = validatedFields.get(i);
fields.add(new RelDataTypeFieldImpl(fieldNames.get(i), field.getIndex(), field.getType()));
}
validatedRowTypeWithNames = new RelRecordType(fields);
} else {
validatedRowTypeWithNames = root.validatedRowType;
}
convertedViewTable = ConvertedViewTable.of(viewTable, validatedRowTypeWithNames, root.rel);
if (converter.getSettings().getOptions().getOption(VDS_CACHE_ENABLED)) {
convertedViewTables.put(viewCacheKey, convertedViewTable);
}
}
return convertedViewTable;
}
存储插件source 的查找
这个相对比较简单，dremio 对于创建完成的source 插件，source 名称就是后边查找的存储插件，应该到代码中就是sql node 会转换为一个namespacekey
key 的root 就是source 名称（对应dremio ManagedStoragePlugin 的name）
- 参考处理
DatasetManager 类中
public DremioTable getTable(
NamespaceKey key,
MetadataRequestOptions options,
boolean ignoreColumnCount
){
final DatasetConfig config = getConfig(key);
if(config != null) {
// canonicalize the path.
key = new NamespaceKey(config.getFullPathList());
}
if(isAmbiguousKey(key)) {
key = getCanonicalKey(key);
}
String pluginName = key.getRoot();
// PluginRetriever 接口实现进行具体的查找
final ManagedStoragePlugin plugin = plugins.getPlugin(pluginName, false);
if (config == null) {
logger.debug("Got a null config");
} else {
logger.debug("Got config id {}", config.getId());
}
CatalogServiceImpl(实现了PluginRetriever接口)中对于getPlugin 的处理
public ManagedStoragePlugin getPlugin(String name, boolean synchronizeOnMissing) {
// 对于home 特殊处理了
final String pluginName = (name.startsWith("@")) ? "__home" : name;
// Preconditions.checkState(isCoordinator);
if (!synchronizeOnMissing) {
// get from in-memory
return getPlugins().get(pluginName);
}
// 详细的可以查看实际源码
// if plugin is missing in-memory, we will synchronize to kvstore
return CatalogServiceImpl.this.getPlugin(pluginName, true);
}
space 中的处理
space 并更没有什么特殊的，只是dremio 自己抽象了一层，比较适合进行数据的工程化管理，这部分dremio 实际上并不能直接知道是什么
类型的，只是先查找plugin source，如果查找不到就认为可能是view 的vds
- 参考处理
DatasetManager 类中的处理
public DremioTable getTable(
NamespaceKey key,
MetadataRequestOptions options,
boolean ignoreColumnCount
){
final DatasetConfig config = getConfig(key);
if(config != null) {
// canonicalize the path.
key = new NamespaceKey(config.getFullPathList());
}
if(isAmbiguousKey(key)) {
key = getCanonicalKey(key);
}
String pluginName = key.getRoot();
final ManagedStoragePlugin plugin = plugins.getPlugin(pluginName, false);
if (config == null) {
logger.debug("Got a null config");
} else {
logger.debug("Got config id {}", config.getId());
}
if(plugin != null) {
// if we have a plugin and the info isn't a vds (this happens in home, where VDS are intermingled with plugin datasets).
if(config == null || config.getType() != DatasetType.VIRTUAL_DATASET) {
return getTableFromPlugin(key, config, plugin, options, ignoreColumnCount);
}
}
if(config == null) {
return null;
}
// at this point, we should only be looking at virtual datasets.
if(config.getType() != DatasetType.VIRTUAL_DATASET) {
// if we're not looking at a virtual dataset, it must mean that we hit a race condition where the source has been removed but the dataset was retrieved just before.
return null;
}
// vds 数据处理
return createTableFromVirtualDataset(config, options);
}
createTableFromVirtualDataset 参考处理
private ViewTable createTableFromVirtualDataset(DatasetConfig datasetConfig, MetadataRequestOptions options) {
try {
// 1.4.0 and earlier didn't correctly save virtual dataset schema information.
BatchSchema schema = DatasetHelper.getSchemaBytes(datasetConfig) != null ? CalciteArrowHelper.fromDataset(datasetConfig) : null;
View view = Views.fieldTypesToView(
Iterables.getLast(datasetConfig.getFullPathList()),
datasetConfig.getVirtualDataset().getSql(),
ViewFieldsHelper.getViewFields(datasetConfig),
datasetConfig.getVirtualDataset().getContextList(),
options.getSchemaConfig().getOptions() != null && options.getSchemaConfig().getOptions().getOption(FULL_NESTED_SCHEMA_SUPPORT) ? schema : null
);
return new ViewTable(new NamespaceKey(datasetConfig.getFullPathList()), view,
identityProvider.getOwner(datasetConfig.getFullPathList()),
datasetConfig, schema);
} catch (Exception e) {
throw new RuntimeException(String.format("Failure while constructing the ViewTable from datasetConfig for key %s with datasetId %s",
String.join(".", datasetConfig.getFullPathList()),
datasetConfig.getId().getId()),
e);
}
}
但是实际view 是不能直接执行的，dremio 对于view 还会进行转换到实际的物理执行（calcite type） 也就是上边整体说明中提到的
说明
以上是一个对于dremio vds space 以及存储插件source 查找处理的一个简单说明，详细的可以多阅读源码，vds 是dremio 中一个比较强大的功能
可以实现灵活的数据模型处理
参考资料
sabot/kernel/src/main/java/com/dremio/exec/ops/PlannerCatalogImpl.java
sabot/kernel/src/main/java/com/dremio/exec/catalog/CatalogImpl.java
sabot/kernel/src/main/java/com/dremio/exec/catalog/PluginRetriever.java
sabot/kernel/src/main/java/com/dremio/exec/catalog/DatasetManager.java
sabot/kernel/src/main/java/com/dremio/exec/catalog/CatalogServiceImpl.java
sabot/kernel/src/main/java/com/dremio/exec/planner/logical/ConvertedViewTable.java
