摘要：dremio-diagnostic-collector dremio集群分析工具，支持对于log 以及系统信息的获取，方便分析集群问题 说明 dremio-diagnostic-collector 是开源的，基于golang 编写，后边可以尝试下 参考资料 https://github.com/dr 阅读全文

摘要：dremio 支持一类starflake data reflections ，比较有意思，以下是对于来自官方文档的一些说明 定义 starflake data reflections 就是反射会join 多个物理数据集，这些数据集部分或者全部是record-preserving join 特点 st 阅读全文

摘要：ControlsInjector 在dremio 中的使用特别多，各种执行任务中都能看到它的影子 参考使用到的类 从下图可以看到使用到ControlsInjector的地方特别多，比如命令创建，fragment启动，dremio 的sql 优化器 参考实现 如下图是目前的实现类，包含了一个无操作的， 阅读全文

摘要：dremio 对于比较大的处理（聚合函数操作可能会触发spill，同时会方法临时文件中），对于比较频繁的job 查询可能会有不少临时文件 TemporaryFolderManager核心是为了进行这些临时文件的管理，包括清理，创建，已经对于临时异常执行器节点的文件处理，对于清理 处理dremio 没 阅读全文

摘要：dremio 支持对于jobresult 的定时清理，jobresult 的清理可以减少不少存储空间，尤其查询比较多的时候，默认dremio 每个执行的查询会对于 结果集进行本地cache，同时展示使用，同时sys.job_results.<jobid> 也会使用此数据 服务创建 DACDaemon 阅读全文

摘要：如果了解dremio 新版本的话，推荐使用的就是分布式存储，同时dremio 也提供了不少的支持，比如hdfs，s3，nas。。。 对于分布式存储的配置，官方文档说明的是基于core-ste.xml ，如果不了解内部机制的话，可能比较疑惑，为什么需要这个配置 以下进行一些说明 分布式配置参考 min 阅读全文

摘要：SetOptionHandler 可以进行基于sql 的配置处理，以下是一个简单说明 SetOptionHandler 的创建 是在CommandCreator中 参考代码 case SET_OPTION: if (sqlNode instanceof SqlAlterTableSetOption) 阅读全文

摘要：dremio的SafeExit实现了服务的安全退出，确保job 任务可以正确处理（当服务关闭的时候，没有处理的任务可以正常处理完成），以下是一个简单 处理流程说明 整体SafeExit 说明 目前dremio对于SafeExit的处理，核心是在NodeRegistration 中处理的，具体的触发是 阅读全文

摘要：dremio 支持一种基于select * from sys.job_results.<jobid> 格式的job result 查询，实际上不是物理表，而是vds，以下是一些简单说明 参考请求图 如下，可以看出，对于上边格式的sql 查询使用的是SysFlightStoragePlugin 存储插 阅读全文

摘要：dremio 以前代码自动提示的是一个独立的service，之后统一调整到dac的backend 中了，以下是关于实现的一个简单说明 服务接口 sql 自动提示，实际上是基于前端与后段集成起来实现的，前端部分我先不介绍，核心主要说明下关于后端部分 接口 @POST @Path("/autocompl 阅读全文

摘要：ViewCreatorFactory 是dremio 中专门管理view 的，目前主要是对于space 以及home 中的处理，当然对于source 也是可以支持的（支持版本类型的，比如nessie，原始分布式文件系统的实际也是可以支持的，但是不太符合dremio的玩法，以及限定死了） 调用部分 实 阅读全文

摘要：实际上如果了解apache drill 会知道drill 是支持在本地活着分布式创建view，实际上dremio 也是可以支持的，但是 此玩法不太符合官方的设计思想，给禁用了 FileSystemPlugin check 处理 参考代码 public boolean createOrUpdateVi 阅读全文

摘要：内容实际来自官方架构介绍，图以前也在博客中放过，现在进行说明下 参考执行图 阶段说明 参考上图，dremio将执行分为可4个阶段 客户端通过jdbc，odbc，rest 提交查询到协调节点 计划阶段 此阶段可以细分3步 a. 协调节点解析查询为dremio的通用关系模型 b. 协调节点基于数据源的统 阅读全文

摘要：以前简单说明过dremio 的jobprofile query，现在简单说明下dremio ProfileStore 参考实现 如下图，实际上只有一个LocalProfileStore，数据是存储咱爱kv storage 中的，但是对于kv 存储的只有完成的profile，其他阶段的数据是直接存储在 阅读全文

摘要：dremio提供了方便的jobprofile 能力，可以进行共享以及分析dremio 查询的性能问题，以下是关于jobprofile 下载功能的简单说明 下载处理 SupportResource.java @POST @Path("download") @Consumes(MediaType.APP 阅读全文

摘要：以前我介绍过通过自动提升处理format，当然dremio也支持手工操作，对于处理包含了文件以及文件夹类型的，我主要说下 关于文件夹的 处理简单说明 对于ui部分是首先进行预处理，获取可能的类型格式，然后就是通过格式预览服务进行数据处理 folder_format参考处理 代码 包含了一个快速以及默 阅读全文

摘要：dremio对于文件系统支持CTAS （s3，nas，hdfs。。。），以前版本默认创建是是parquet 格式的文件，新版本默认使用iceberg 格式 基于iceberg 的格式很有意思，我们不只可以进行数据的显式物化，同时还可以进行数据的多DML，同时还能复用iceberg 强大的数据管理 能 阅读全文

摘要：dremio 不管是社区版或者企业版默认会包含一个sample的对象存储source，可以让我们直接体验dremio 的能力，以下是关于sample source 的一个简单说明 sample source 说明 是一个s3类型的source 里边的内容是dremio 使用的aws s3 的一个开放 阅读全文

摘要：dremio中space或者home 中的view 实际后边都会转换到实际存储插件对应的table，只是处理上少有不同 整体简单处理 核心是dremio 通过apache calcite 的sql 校验中的处理，catalogreader 是自己的实现DremioCatalogReader，里边需要 阅读全文

摘要：dremio自动提升支持自动将文件夹转换为一个列，同时可以实现数据的过滤查询，是一个很不错的功能，比如我们在一些数据归档类的应用中可以基于事件进行分区，之后通过自动提升可以方便的进行数据查询 效果 查询效果 debug 效果 内部处理 对于dremio 自动提升的处理我已经介绍过了，实际上核心是分区 阅读全文