dremio AsyncStreamConf 简单说明

AsyncStreamConf 主要是关于异步以及cache 配置属性的参数配置,dremio 存储扩展不少都实现了此接口

参考实现

使用的地方

  • 整体使用 
    存储插件基本都会使用到,包含了一些reader,同时还有文件系统的包装处理 

  • ce CacheFileSystemWrapper 的使用 
    这个是dremio ce 包中的一个CacheFileSystemWrapper实现,主要是在CacheFileSystem cache 文件系统实现使用的,里边包含了cache 的文件读取处理
  • FileSplitParquetRecordReader 处理 
    这个主要是关于hive的处理

参考资料

sabot/kernel/src/main/java/com/dremio/exec/store/dfs/AsyncStreamConf.java
com/dremio/service/cachemanager/CacheFileSystemWrapper.java

posted on 2024-03-23 08:39  荣锋亮  阅读(8)  评论(0编辑  收藏  举报

导航