dremio CTAS 以及DROP 功能简单说明

dremio 对于文件系统以及文件存储相关的是支持CTAS 以及DROP操作的，而且这个功能很好扩展

可修改存储扩展接口定义

从下图可以看出，对于可变存储，也是继承自StoragePlugin，只是扩展了自己的方法，包含了
不少数据修改的操作，对于CTAS 以及DROP 就是基于此能力提供的

 

 

s3 CTAS 处理简单说明

对于实现了MutablePlugin的类，都会包含一个writer，可以实现数据的写入，但是官方是有一个限制，只能基于格式化插件进行调用
（可能是特定场景的问题）

 

 @Override

  public Writer getWriter(PhysicalOperator child, String location, WriterOptions options, OpProps props) throws IOException {

    throw new IllegalStateException("The ctas entry for a file system plugin should invoke get writer on the format plugin directly.");

  }

格式化插件方法签名(包含了数据的读以及写操作定义)

 

 

目前官方对于parquet 周边已经包含了不少format 插件，同时dremio 也延续了apache drill 的easyformat 处理,进行了不少的包装，同时简化format 插件的开发，后变应该会介绍下，格式化插件是直接在文件系统的基于类型获取的
比如文件系统的

 

 // 获取格式化插件，基于formatCreator 创建

public FormatPlugin getFormatPlugin(String name) {

  return formatCreator.getFormatPluginByName(name);

}

所以我们可以自己扩展自己的格式化插件，同时创建以及存储系统，就能和dremio 集成了

说明

dremio 的扩展行是很强大的，支持因为dremio 的半开源玩法，造成周边社区并不是很好，我们可以通过阅读源码学习深入了解

参考资料

sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FileSystemPlugin.java
sabot/kernel/src/main/java/com/dremio/exec/store/dfs/FormatCreator.java
https://drill.apache.org/docs/excel-format-plugin/
https://learning.oreilly.com/library/view/learning-apache-drill/9781492032786/ch12.html#idm140692990133520