摘要：ViewCreatorFactory 是dremio 中专门管理view 的，目前主要是对于space 以及home 中的处理，当然对于source 也是可以支持的（支持版本类型的，比如nessie，原始分布式文件系统的实际也是可以支持的，但是不太符合dremio的玩法，以及限定死了） 调用部分 实 阅读全文

摘要：实际上此问题与以前版本goreplay对于s3 的支持是一样的 参考处理 添加了新的环境变量AWS_FORCE_PATH_STYLE以及AWS_DISABLE_SSL，具体代码在rongfengliang/goreplay-new/blob/resurface/s3_reader.go 中 参考使用 阅读全文

摘要：resurfaceio的gor 是对于开源版本的修改 （比如开启了企业特性，同时添加了对于resurfaceio http output 的支持），为了方便对于linux 系统的使用 我拉取了官方镜像，将二进制文件放到github 了https://github.com/rongfengliang/ 阅读全文

摘要：resurfaceio 是graylog 的api 安全方案，包含的特性 特性 简易的api 调用捕捉 立即攻击以及异常的rest 以及graphql api 处理 基于webhook ，sql 查询，以及数据导出自动化处理 快速部署本地或者基于k8s 的云环境 架构设计 resurfaceio 对 阅读全文

摘要：flyte 开源工作流调度平台，支持数据，机器学习，flyte 基于golang 开发运行在k8s中，但是支持python，java，scala 等开发语言flyte 支持不少外部集成，比如sql，dbt，great_expectations，duckdb,mlflow,onnx ,modin 等 阅读全文

摘要：实际上如果了解apache drill 会知道drill 是支持在本地活着分布式创建view，实际上dremio 也是可以支持的，但是 此玩法不太符合官方的设计思想，给禁用了 FileSystemPlugin check 处理 参考代码 public boolean createOrUpdateVi 阅读全文

摘要：minio 支持sql 查询操作，属于一个比较方便的功能，对于parquet 功能的支持默认没开启，需要配置 参考配置 基于docker-compose 核心是MINIO_API_SELECT_PARQUET: on version: "3" services: minio: image: mini 阅读全文

摘要：内容实际来自官方架构介绍，图以前也在博客中放过，现在进行说明下 参考执行图 阶段说明 参考上图，dremio将执行分为可4个阶段 客户端通过jdbc，odbc，rest 提交查询到协调节点 计划阶段 此阶段可以细分3步 a. 协调节点解析查询为dremio的通用关系模型 b. 协调节点基于数据源的统 阅读全文

摘要：以前简单说明过dremio 的jobprofile query，现在简单说明下dremio ProfileStore 参考实现 如下图，实际上只有一个LocalProfileStore，数据是存储咱爱kv storage 中的，但是对于kv 存储的只有完成的profile，其他阶段的数据是直接存储在 阅读全文

摘要：ODCS 属于一个linux 基金会项目，目前处于沙箱阶段 包含的特性 data contracts 框架 Fundamentals,Datasets & Schema,Data Quality,Pricing,Stakeholders,Security,Sevice-Level agreement 阅读全文

摘要：dremio提供了方便的jobprofile 能力，可以进行共享以及分析dremio 查询的性能问题，以下是关于jobprofile 下载功能的简单说明 下载处理 SupportResource.java @POST @Path("download") @Consumes(MediaType.APP 阅读全文

摘要：基于data contracts 的数据质量处理似乎是一个很不错的数据开发模式，机制上比较类似微服务开发中的service contracts 我们基于契约对于数据的生产者以及消费者进行约定，确保数据的质量，提高数据团队的协作，同时还有不少工具可以参考 说明 open-data-contract-s 阅读全文

摘要：以前我介绍过通过自动提升处理format，当然dremio也支持手工操作，对于处理包含了文件以及文件夹类型的，我主要说下 关于文件夹的 处理简单说明 对于ui部分是首先进行预处理，获取可能的类型格式，然后就是通过格式预览服务进行数据处理 folder_format参考处理 代码 包含了一个快速以及默 阅读全文

摘要：dremio对于文件系统支持CTAS （s3，nas，hdfs。。。），以前版本默认创建是是parquet 格式的文件，新版本默认使用iceberg 格式 基于iceberg 的格式很有意思，我们不只可以进行数据的显式物化，同时还可以进行数据的多DML，同时还能复用iceberg 强大的数据管理 能 阅读全文

摘要：dremio 不管是社区版或者企业版默认会包含一个sample的对象存储source，可以让我们直接体验dremio 的能力，以下是关于sample source 的一个简单说明 sample source 说明 是一个s3类型的source 里边的内容是dremio 使用的aws s3 的一个开放 阅读全文

摘要：dremio中space或者home 中的view 实际后边都会转换到实际存储插件对应的table，只是处理上少有不同 整体简单处理 核心是dremio 通过apache calcite 的sql 校验中的处理，catalogreader 是自己的实现DremioCatalogReader，里边需要 阅读全文

摘要：dremio自动提升支持自动将文件夹转换为一个列，同时可以实现数据的过滤查询，是一个很不错的功能，比如我们在一些数据归档类的应用中可以基于事件进行分区，之后通过自动提升可以方便的进行数据查询 效果 查询效果 debug 效果 内部处理 对于dremio 自动提升的处理我已经介绍过了，实际上核心是分区 阅读全文

摘要：dremio包含了一个元数据自动提升为物理数据集的功能，对于文件系统我们就不用进行格式提升了，dremio 就可以直接查询了，配置如下 当然此功能的前提是数据格式可以被自动发现（dremio 的easy foramt 能力），以下是一个内部处理的简单说明 一个参考调用链 stack com.drem 阅读全文

摘要：以前对于S3StoragePlugin 有过简单的说明，以下结合S3StoragePlugin 说明下如何开发一个存储扩展 一些标准模式 选择实现的存储插件的接口 比如s3的因为实际上就是文件系统，所以S3StoragePlugin 实现了FileSystemPlugin 接口的，同时可以复用不少已 阅读全文

摘要：follow-redirects 可以直接替换node http & https 的npm 模块 包含的特性 支持重定向功能 支持重定向参数配置，比如最大重定向，以及最大请求大小，支持beforeredirect 请求处理（比如认证处理） 支持agents 说明 对于业务系统的请求会包含重定向场景的 阅读全文