摘要：dbt this macro提供了一种方便的对于当前模型展现的方法，可以使用在增量模型以及pre&post hooks 中 this 实际是就类似ref('<the_current_model>') 是一个relation 包含了database，schema 以及模型标识 使用示例 一个增量处理的 阅读全文

摘要：hatch python 现代项目管理工具，以下是一些简单试用 安装 cli brew install hatch 一些推荐配置 这样我们的venv 直接在执行目录中，比较方便使用 hatch config set dirs.env.virtual .hatch 简单项目 cli hatch new 阅读全文

摘要：比较有意思的是关于poetry setuptools entry_points 配置的，目前基于script 模式是有问题的，结果通过尝试 使用plugin 模式是可以的 参考配置 [tool.poetry.plugins."sqlalchemy.dialects"] "dremio.flight" 阅读全文

摘要：实际上有社区已经有一个python包了，但是里边一些实现目前有一些问题（pip 包的，当然还有一些数据类型支持的问题） 我fork 进行了一些调整 一些问题 pandas 依赖 应该是pyarrow的调整，我在代码setup.py 添加了 supports_statement_cache 问题 我按 阅读全文

摘要：dremio 对于文件系统支持异步读以及cache 处理，对于cache 的处理只有在开启异步读的时候 参考配置 开启异步数据访问 cache 配置 内部处理 实际上都使用的是ce cache 包中的，getAsyncByteReader 的调用，此方法是标准FileSystem的一个方法 File 阅读全文

摘要：QueryContext 包含了查询相关的一些信息，官方代码注释说应该重名为PlanningContext，主要是在fragment contexts 中使用 接口扩展 如下图，实现了ResourceSchedulingContext以及OptimizerRulesContext 主要实例化的地方 阅读全文

摘要：实际属于一个小技巧，可以实现比较灵活的jinja2 扩展，是从dbt 对于macro 的处理部分学习到的 参考代码 app.py from jinja2 import Environment env = Environment() # 定义macro 的内容 macro_template = """ 阅读全文

摘要：设计上来自dbt 的return macro， 实际上就是一个macro 会触发一个exception 我们对于这个exception 单独捕获处理下 returnmacro 函数开发 return_macro 函数定义 def return_macro(values): raise MacroRe 阅读全文

摘要：jinja2 默认是没有return macro 的，dbt 在实现的时候比较有意思，通过一个exception 触发的，以下是简单说明 参考使用 一个包含return 的macro {% macro demoapp(name,version) %} {% if version =='v1' %} 阅读全文

摘要：cloudquery 开源ETL 框架提供了基于plugin 的数据集成模式 包含的特性 开源，提供了sdk 快速，基于golang 轻量级协程,基于apache arrow 部署方便，就是一个独一的二进制文件 可扩展，cloudquery plugin 是无状态的，可以方便的扩展 说明 cloud 阅读全文

摘要：最近在通过debug 模式调试dremio 文件写入处理的时候，发现dremio 目录包含了不少__XLDIR__ 后缀的对象（里边是空的，只是后缀包含了__XLDIR__ ） 参考图 问题 目前此问题minio github 上也有一些信息，理论上应该是解决了，但是我目前使用的是比较新的版本的，大 阅读全文

摘要：dremio ce kernel 包提供了不少对于dremio的扩展类，比如规则，parquet 读取，以及反射处理的，以下是一个简单说明 参考配置 标准的sabot-module.conf 文件 dremio: { classpath.scanning { packages += "com.dre 阅读全文

摘要：以前我介绍过关于cache 的CacheFileSystemWrapper，以下说明下关于cache 缓存以及加载的处理 参考配置 主要是在executor 节点的 services: { coordinator.enabled: false, coordinator.master.enabled: 阅读全文

摘要：AsyncStreamConf 主要是关于异步以及cache 配置属性的参数配置，dremio 存储扩展不少都实现了此接口 参考实现 使用的地方 整体使用 存储插件基本都会使用到，包含了一些reader，同时还有文件系统的包装处理 ce CacheFileSystemWrapper 的使用 这个是d 阅读全文

摘要：关于dremio 实际大规模部署的记录，内容来自官方文档 dremio 组件架构参考图 此图包含了dremio 的ha 以及扩展，包含了主备Coordinator（故障转移的） 提高查询性能的Coordinator，以及进行实际查询的执行器此部署中依赖lb，共享存储（nfs 类的），zk （协调选举 阅读全文

摘要：aiohttp 官方推荐了不少部署模式，以下是关于unix socket 部署的简单说明 参考配置 web.py from aiohttp import web import argparse parser = argparse.ArgumentParser(description="aiohttp 阅读全文

摘要：以前简单介绍过soda 数据质量工具，以下是关于dremio 集成的一个说明 环境准备 dremio dremio 基于docker 部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose soda soda 包 阅读全文

摘要：soda 数据质量测试工具,可以方便的集成到ci/cd 中，同时支持的数据库也不少，soda 同时还提供了一个强大的metrcis 检查语言基于yaml 配置文件就可以实现强大的数据质量检测（也支持输出数据格式为json，方便分析） 说明 soda 同时也提供了data contract 的支持，对 阅读全文

摘要：一个简单的dremio 集成自己外部登陆的，处理方法是通过nginx 进行proxy 同时开发自己的login 服务，此服务调用的dremio login api 对于自己的登陆页面调用自己开发的login api，然后将登陆信息写入到localstorage 中，之后进行一个dremio ngin 阅读全文

摘要：主要是一个记录，方便后续使用 参考代码 代码 import pyodbc import pandas host = "localhost" port = "32010" user = "admin" password = "admin123" ssl = "false" schema = "s3v2 阅读全文