摘要：如果了解dremio 新版本的话，推荐使用的就是分布式存储，同时dremio 也提供了不少的支持，比如hdfs，s3，nas。。。 对于分布式存储的配置，官方文档说明的是基于core-ste.xml ，如果不了解内部机制的话，可能比较疑惑，为什么需要这个配置 以下进行一些说明 分布式配置参考 min 阅读全文

摘要：SetOptionHandler 可以进行基于sql 的配置处理，以下是一个简单说明 SetOptionHandler 的创建 是在CommandCreator中 参考代码 case SET_OPTION: if (sqlNode instanceof SqlAlterTableSetOption) 阅读全文

摘要：dremio的SafeExit实现了服务的安全退出，确保job 任务可以正确处理（当服务关闭的时候，没有处理的任务可以正常处理完成），以下是一个简单 处理流程说明 整体SafeExit 说明 目前dremio对于SafeExit的处理，核心是在NodeRegistration 中处理的，具体的触发是 阅读全文

摘要：resurfaceio goreplay output-resurface 的处理实际上就是开发了一个新的output 插件，对于数据的写入是使用了 resurfaceio 的golang logger sdk 实现简单说明 output_resurface.go，核心就是一个标准的goreplay 阅读全文

摘要：dremio 支持一种基于select * from sys.job_results.<jobid> 格式的job result 查询，实际上不是物理表，而是vds，以下是一些简单说明 参考请求图 如下，可以看出，对于上边格式的sql 查询使用的是SysFlightStoragePlugin 存储插 阅读全文

摘要：scalene 使用一个python cpu&gpu 性能分析工具，同时也支持内存的分析，同时还提供了基于ai的智能优化推荐 包含的一些特性 cli 支持多种输出格式 包含了一个web-gui 基于ai 的智能提示 参考使用 安装 pip install scalene 包含的cli usage: 阅读全文

摘要：memray python 内存profiler 工具，功能还是很强大的，以下是一个简单使用 参考使用 安装 pip install memray 支持的cli usage: memray [-h] [-v] [-V] {run,flamegraph,table,live,tree,parse,su 阅读全文

摘要：dremio 以前代码自动提示的是一个独立的service，之后统一调整到dac的backend 中了，以下是关于实现的一个简单说明 服务接口 sql 自动提示，实际上是基于前端与后段集成起来实现的，前端部分我先不介绍，核心主要说明下关于后端部分 接口 @POST @Path("/autocompl 阅读全文

摘要：resurfaceio 是graylog 开发的一个api 安全解决方案，设计上使用了不少开源的东西，目前并不完全开源但是通过官方文档介绍，可以看到一些机制 参考架构图 简单说明: resurfaceio 对于api 安全的处理是通过三大方式解决的，第一中是基于sdk 集成，写入请求信息到resur 阅读全文

摘要：ViewCreatorFactory 是dremio 中专门管理view 的，目前主要是对于space 以及home 中的处理，当然对于source 也是可以支持的（支持版本类型的，比如nessie，原始分布式文件系统的实际也是可以支持的，但是不太符合dremio的玩法，以及限定死了） 调用部分 实 阅读全文

摘要：实际上此问题与以前版本goreplay对于s3 的支持是一样的 参考处理 添加了新的环境变量AWS_FORCE_PATH_STYLE以及AWS_DISABLE_SSL，具体代码在rongfengliang/goreplay-new/blob/resurface/s3_reader.go 中 参考使用 阅读全文

摘要：resurfaceio的gor 是对于开源版本的修改 （比如开启了企业特性，同时添加了对于resurfaceio http output 的支持），为了方便对于linux 系统的使用 我拉取了官方镜像，将二进制文件放到github 了https://github.com/rongfengliang/ 阅读全文

摘要：resurfaceio 是graylog 的api 安全方案，包含的特性 特性 简易的api 调用捕捉 立即攻击以及异常的rest 以及graphql api 处理 基于webhook ，sql 查询，以及数据导出自动化处理 快速部署本地或者基于k8s 的云环境 架构设计 resurfaceio 对 阅读全文

摘要：flyte 开源工作流调度平台，支持数据，机器学习，flyte 基于golang 开发运行在k8s中，但是支持python，java，scala 等开发语言flyte 支持不少外部集成，比如sql，dbt，great_expectations，duckdb,mlflow,onnx ,modin 等 阅读全文

摘要：实际上如果了解apache drill 会知道drill 是支持在本地活着分布式创建view，实际上dremio 也是可以支持的，但是 此玩法不太符合官方的设计思想，给禁用了 FileSystemPlugin check 处理 参考代码 public boolean createOrUpdateVi 阅读全文

摘要：minio 支持sql 查询操作，属于一个比较方便的功能，对于parquet 功能的支持默认没开启，需要配置 参考配置 基于docker-compose 核心是MINIO_API_SELECT_PARQUET: on version: "3" services: minio: image: mini 阅读全文

摘要：内容实际来自官方架构介绍，图以前也在博客中放过，现在进行说明下 参考执行图 阶段说明 参考上图，dremio将执行分为可4个阶段 客户端通过jdbc，odbc，rest 提交查询到协调节点 计划阶段 此阶段可以细分3步 a. 协调节点解析查询为dremio的通用关系模型 b. 协调节点基于数据源的统 阅读全文

摘要：以前简单说明过dremio 的jobprofile query，现在简单说明下dremio ProfileStore 参考实现 如下图，实际上只有一个LocalProfileStore，数据是存储咱爱kv storage 中的，但是对于kv 存储的只有完成的profile，其他阶段的数据是直接存储在 阅读全文

摘要：ODCS 属于一个linux 基金会项目，目前处于沙箱阶段 包含的特性 data contracts 框架 Fundamentals,Datasets & Schema,Data Quality,Pricing,Stakeholders,Security,Sevice-Level agreement 阅读全文

摘要：dremio提供了方便的jobprofile 能力，可以进行共享以及分析dremio 查询的性能问题，以下是关于jobprofile 下载功能的简单说明 下载处理 SupportResource.java @POST @Path("download") @Consumes(MediaType.APP 阅读全文