摘要：最近在通过debug 模式调试dremio 文件写入处理的时候，发现dremio 目录包含了不少__XLDIR__ 后缀的对象（里边是空的，只是后缀包含了__XLDIR__ ） 参考图 问题 目前此问题minio github 上也有一些信息，理论上应该是解决了，但是我目前使用的是比较新的版本的，大 阅读全文

摘要：dremio ce kernel 包提供了不少对于dremio的扩展类，比如规则，parquet 读取，以及反射处理的，以下是一个简单说明 参考配置 标准的sabot-module.conf 文件 dremio: { classpath.scanning { packages += "com.dre 阅读全文

摘要：以前我介绍过关于cache 的CacheFileSystemWrapper，以下说明下关于cache 缓存以及加载的处理 参考配置 主要是在executor 节点的 services: { coordinator.enabled: false, coordinator.master.enabled: 阅读全文

摘要：AsyncStreamConf 主要是关于异步以及cache 配置属性的参数配置，dremio 存储扩展不少都实现了此接口 参考实现 使用的地方 整体使用 存储插件基本都会使用到，包含了一些reader，同时还有文件系统的包装处理 ce CacheFileSystemWrapper 的使用 这个是d 阅读全文

摘要：关于dremio 实际大规模部署的记录，内容来自官方文档 dremio 组件架构参考图 此图包含了dremio 的ha 以及扩展，包含了主备Coordinator（故障转移的） 提高查询性能的Coordinator，以及进行实际查询的执行器此部署中依赖lb，共享存储（nfs 类的），zk （协调选举 阅读全文

摘要：aiohttp 官方推荐了不少部署模式，以下是关于unix socket 部署的简单说明 参考配置 web.py from aiohttp import web import argparse parser = argparse.ArgumentParser(description="aiohttp 阅读全文

摘要：以前简单介绍过soda 数据质量工具，以下是关于dremio 集成的一个说明 环境准备 dremio dremio 基于docker 部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose soda soda 包 阅读全文

摘要：soda 数据质量测试工具,可以方便的集成到ci/cd 中，同时支持的数据库也不少，soda 同时还提供了一个强大的metrcis 检查语言基于yaml 配置文件就可以实现强大的数据质量检测（也支持输出数据格式为json，方便分析） 说明 soda 同时也提供了data contract 的支持，对 阅读全文

摘要：一个简单的dremio 集成自己外部登陆的，处理方法是通过nginx 进行proxy 同时开发自己的login 服务，此服务调用的dremio login api 对于自己的登陆页面调用自己开发的login api，然后将登陆信息写入到localstorage 中，之后进行一个dremio ngin 阅读全文

摘要：主要是一个记录，方便后续使用 参考代码 代码 import pyodbc import pandas host = "localhost" port = "32010" user = "admin" password = "admin123" ssl = "false" schema = "s3v2 阅读全文

摘要：SplitOrphansCleanerService 目前主要是清理一些孤立的split 服务(主要是对于namespaceservice) SplitOrphansCleanerService创建 DACDaemonModule 中，可以看出是分布式master 角色启动的（实际就是master 阅读全文

摘要：SQLpage 属于一个低代码工具，让我们可以通过sql 开发web 站点 包含的特点 简单 美观 快速 包含了比较丰富的web 组件 同时也提供了一些基本的功能，比如认证，变量，运行sql，读取文件 面向的人群 业务分析 可以基于动态处理 数据科学 原型以及分析 市场人员 工程师 产品管理人员 教 阅读全文

摘要：hyper-db 是tableau查询引擎的核心，tableau 官方也提供了比较完整的文档，可以方便学习使用，同时官方也提供了python，c++，java 的api 以下是一个简单试用，体验下hyper 的功能 参考代码 为了方便基于了python 运行，里边已经直接包含了hyper，使用起来比 阅读全文

摘要：dremio-diagnostic-collector dremio集群分析工具，支持对于log 以及系统信息的获取，方便分析集群问题 说明 dremio-diagnostic-collector 是开源的，基于golang 编写，后边可以尝试下 参考资料 https://github.com/dr 阅读全文

摘要：dremio 支持一类starflake data reflections ，比较有意思，以下是对于来自官方文档的一些说明 定义 starflake data reflections 就是反射会join 多个物理数据集，这些数据集部分或者全部是record-preserving join 特点 st 阅读全文

摘要：ControlsInjector 在dremio 中的使用特别多，各种执行任务中都能看到它的影子 参考使用到的类 从下图可以看到使用到ControlsInjector的地方特别多，比如命令创建，fragment启动，dremio 的sql 优化器 参考实现 如下图是目前的实现类，包含了一个无操作的， 阅读全文

摘要：dremio 对于比较大的处理（聚合函数操作可能会触发spill，同时会方法临时文件中），对于比较频繁的job 查询可能会有不少临时文件 TemporaryFolderManager核心是为了进行这些临时文件的管理，包括清理，创建，已经对于临时异常执行器节点的文件处理，对于清理 处理dremio 没 阅读全文

摘要：asgi 是支持python 异步的python web 服务器，框架和应用程序之间的标准接口，目前不少框架已经支持了目前github 上有一个不错的项目，里边包含了各类支持以及实现了asgi 的框架，值得学习 awesome-asgi 参考资料 https://github.com/encode/ 阅读全文

摘要：dremio 支持对于jobresult 的定时清理，jobresult 的清理可以减少不少存储空间，尤其查询比较多的时候，默认dremio 每个执行的查询会对于 结果集进行本地cache，同时展示使用，同时sys.job_results.<jobid> 也会使用此数据 服务创建 DACDaemon 阅读全文

摘要：gleam 类型安全的新编程语言，基于rust 开发，编程语法上与rust 特性类似，runtime 基于了erlang 特点 支持函数式编程 基于erlang runtime （当然也就包含了不少erlang 的特性了） 包含了完整的工具连（编译器，构建工具，格式化工具，编辑器集成，包管理） 可以 阅读全文