dremio AbstractRecordReader 简单说明一

AbstractRecordReader 在dremio 实现了不同存储的数据读取处理，还是比较重要的，毕竟dremio 主要还是查询

AbstractRecordReader接口定义

AbstractRecordReader 实现了RecordReader接口，当然AbstractRecordReader 还是抽象类，业务使用是由具体子类处理的，不同场景会用不同的
具体reader，比如jdbc 有自己的，mongo 也有自己的，对于读取到的数据我们是需要到一个OutputMutator 的（可以进行schema 的修改），具体从
接口定义也可以看到

实现子类

只包含了部分内部的，对于外部插件的没有包含（比如mongo，jdbc。。。）

存储插件对于AbstractRecordReader 的使用

InformationSchemaRecordReader
简单以InformationSchemaRecordReader 为例说明
首先是需要一个ProducerOperator.Creator 的，此类实现reader 以及schema fetcher 以及InfoSchemaStoragePlugin 存储扩展的关联
ProducerOperator

 
public class InfoSchemaScanCreator implements ProducerOperator.Creator<InfoSchemaSubScan>{
 
  @Override

  public ProducerOperator create(FragmentExecutionContext fec, OperatorContext context, InfoSchemaSubScan config) throws ExecutionSetupException {

    final InformationSchemaTable table = config.getTable();

    final InfoSchemaStoragePlugin plugin = fec.getStoragePlugin(config.getPluginId());

    final String catalogName =

        context.getOptions().getOption(ExecConstants.USE_LEGACY_CATALOG_NAME)

            ? InfoSchemaConstants.IS_LEGACY_CATALOG_NAME

            : InfoSchemaConstants.IS_CATALOG_NAME;

    // 关联存储插件以及reader

    final RecordReader reader = new InformationSchemaRecordReader(context, config.getColumns(),

        plugin.getSabotContext().getInformationSchemaServiceBlockingStub(), table,

        catalogName, config.getProps().getUserName(), config.getQuery(), context.getOptions().getOption(PlannerSettings.FULL_NESTED_SCHEMA_SUPPORT));

    return new ScanOperator(config, context, RecordReaderIterator.from(reader));

  }

}

具体读取处理，依赖了rpc 服务InformationSchemaServiceBlockingStub，然后进行schema 数据的获取
对于不同schema 表的数据使用了不同的表createTableWriter 方法，会在setup 进行初始化，数据会到一个writer 中

 

  private TableWriter<?> createTableWriter()  

 @Override

  public void setup(OutputMutator output) {

    context = Context.current().withCancellation();

    context.run(() -> {

      tableWriter = createTableWriter();

      tableWriter.init(output);

    });

  }