dremio sys.job_results.<jobid> 内部处理简单说明

dremio 支持一种基于select * from sys.job_results.<jobid> 格式的job result 查询，实际上不是物理表，而是vds，以下是一些简单说明

参考请求图

如下，可以看出，对于上边格式的sql 查询使用的是SysFlightStoragePlugin 存储插件的处理，上获取的数view，实际对应的是__jobResultsStore 存储插件中的数据信息

SysFlightStoragePlugin getView 处理

参考代码

// 可以看出SysFlightStoragePlugin 包装返回一个view ，实际是jobresult 的表信息

public ViewTable getView(List<String> tableSchemaPath, SchemaConfig schemaConfig) {

    if (systemIcebergTablesStoragePlugin != null && systemIcebergTablesStoragePlugin.get().isSupportedTablePath(tableSchemaPath)) {

      return systemIcebergTablesStoragePlugin.get().getViewTable(tableSchemaPath, schemaConfig.getUserName());

    }

    if (!JobResultInfoProvider.isJobResultsTable(tableSchemaPath)) {

      return null;

    }

 

    final String jobId = Iterables.getLast(tableSchemaPath);

    final Optional<JobResultInfoProvider.JobResultInfo> jobResultInfo =

      jobResultInfoProvider.getJobResultInfo(jobId, schemaConfig.getUserName());

 

    return jobResultInfo.map(info -> {

      final View view = Views.fieldTypesToView(jobId, getJobResultsQuery(info.getResultDatasetPath()),

        ViewFieldsHelper.getBatchSchemaFields(info.getBatchSchema()), null);

 

      return new ViewTable(new NamespaceKey(tableSchemaPath), view, CatalogUser.from(SystemUser.SYSTEM_USERNAME), info.getBatchSchema());

    }).orElse(null);

}

说明

一般文件存储插件对于getView 返回的数据都为null （除过开启legacy.dremio.store.views.enabled），SysFlightStoragePlugin 存储插件，自己包装了viewtable

参考资料

plugins/sysflight/src/main/java/com/dremio/plugins/sysflight/SysFlightPluginConf.java
plugins/sysflight/src/main/java/com/dremio/plugins/sysflight/SysFlightStoragePlugin.java
sabot/kernel/src/main/java/com/dremio/exec/catalog/DatasetManager.java
sabot/kernel/src/main/java/com/dremio/exec/store/Views.java
sabot/kernel/src/main/java/com/dremio/exec/planner/logical/ViewTable.java