dremio AsyncStreamConf 简单说明

AsyncStreamConf 主要是关于异步以及cache 配置属性的参数配置，dremio 存储扩展不少都实现了此接口

参考实现

使用的地方

  • 整体使用 
    存储插件基本都会使用到，包含了一些reader，同时还有文件系统的包装处理 

  • ce CacheFileSystemWrapper 的使用 
    这个是dremio ce 包中的一个CacheFileSystemWrapper实现，主要是在CacheFileSystem cache 文件系统实现使用的，里边包含了cache 的文件读取处理
  • FileSplitParquetRecordReader 处理 
    这个主要是关于hive的处理

参考资料

sabot/kernel/src/main/java/com/dremio/exec/store/dfs/AsyncStreamConf.java
com/dremio/service/cachemanager/CacheFileSystemWrapper.java

posted on   荣锋亮  阅读(8)  评论(0)  编辑  收藏  举报

相关博文：
· dremio 异步读取但是没开启cache 的处理
· dremio cloud cache 简单说明
· 【Ceph】AsyncMessenger 简析 II/III|RDMAStack IO路径
· asyncio-流
· 《c#10 in a nutshell》--- 读书随记（10）
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2022-03-23 pf4j spring 插件配置处理
2022-03-23 odbc 架构
2020-03-23 hasura graphql-engine 集成postgresql_anonymizer扩展的说明
2020-03-23 几个不错的pg 监控工具
2016-03-23 Flowplayer-一款免费的WEB视频播放器

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示