摘要：dremio dbt adapter 在设计的时候与传统adapter 稍有不同，比如里边调整了database 名称的处理，同时因为dremio 的特殊性 对于物化的处理是先物化然后创建一个视图（table 模式的） 对于我们实际使用到的数据是在dremio 的space （或者nessie 数据 阅读全文

摘要：dremio SchemaMutability 属于一个枚举，定义了schema 的可变性能力() 参考定义 public enum SchemaMutability { @Tag(1) ALL(true, true, true, true), @Tag(2) NONE(false, false, 阅读全文

摘要：casl 同构授权js 框架，提供了web前端以及后端的集成支持（使用相同的api ） 包含的特性 多功能 灵活的基于subject 以及属性的授权处理 同构 同时支持前端以及后端 类型安全 基于ts 开发 小巧 压缩之后只有6kb 声明式的 基于声明式的可以灵活的进行规则的共享，包含了ui，api 阅读全文

摘要：对于slack 的unfurl lightdash 使用了headless browser，以下说明下内部处理 参考图 此图来自官方文档，可以看出主要包含了调度以及slack 的 内部实现 实际上就是对于 unfurl 的图片处理部分,里边包含了cookie处理（安全）以及对于请求进行拦截（核心也是 阅读全文

摘要：日常中大家为了提高web的性能基于可见区的图片加载基本常见，但是对于基于puppeteer的快照以及pdf生成就不太方便了，以下是一个解决方法，核心是过去内容的高度，基于代码进行滚动，模拟人的操作实现资源的加载 参考实现 const express = require("express"); con 阅读全文

摘要：基于browserless 以及puppeteer 我们可以快速的进行屏幕捕捉生成图片以及导出pdf 文件，以下是一个简单的试用 环境准备 docker-compose version: "3" services: app: image: browserless/chrome:latest port 阅读全文

摘要：browserless 部署无头浏览器到docker 中的工具 包含的特性 支持可配置的并行以及请求队列 开箱即用的字体支持 debug 视图支持 交互式的puppeteer 调试器 支持puppeteer 以及playwright 支持基于websocket 以及rest api 的请求控制（可以 阅读全文

摘要：通过flags 可以使用dbt cli 的一些参数，比较常用的是对于增量物化处理的场景 参考使用 {% if flags.FULL_REFRESH %} drop table ... {% else %} -- no-op {% endif %} 说明 支持的参数都在flags 中可以看看，一些db 阅读全文

摘要：dbt 的adapter macro 提供了方便的在macro 中对于db 操作的能力，让macro 具有了动态能力，默认包含了不少实现 而且在不少dbt 项目中经常看到 参考使用 结合了api 这个macro 提供了能力，进行ddl 的维护 {%- set target_relation = ap 阅读全文

摘要：FormatCreator 的核心职责就是进行Format plugin 的创建 核心提供的能力 如下图，目前核心是为FileSystemPlugin 提供格式化处理的能了（包含了格式识别，数据预览，格式插件查找，创建格式插件） 构造函数初始化 默认是基于了动态类发现以及加载进行系统FormatPl 阅读全文

摘要：现象 此问题一般出现了我们对于数据源的物理表进行了反射（源表包含时间戳类型的数据），但是我们希望直接使用反射里边的parquet 文件格式数据，此时使用预览默认是可以读取parquet 数据的，但是当我们实际查询的时候发现可能提示此问题 参考异常调用链 VALIDATION ERROR: No en 阅读全文

摘要：kuto 这个工具比较有意思，可以将大型js 项目的js bundler 进行拆分，这样用户就可以下载更少的资源了，提升加载速度 kuto 的处理机制 第一次构建的时候 kuto 可以将源js 拆分为maina 以及一个正常的大的corpus corpus 没有副作用，同时这个corpus 是可以c 阅读全文

摘要：以前关于dremio 元数据刷新的也简单介绍过，最近发现dremio 新版本（从24.1 版本开始）有一些调整，废弃了，所有数据集的刷新配置 只支持基于查询的元数据刷新，一些关于此调整一些说明 好处 减少了元数据刷新的时间以及对于查询的影响，可以让查询阶段的元数据处理更快了（核心是减少查询处理） 减 阅读全文

摘要：前边说过dbt-checkpoint 是基于dbt 的元数据解析，然后集合规则进行check，属于一个pre-commit 插件，以下简单说明下内部实现 配置 核心是 .pre-commit-hooks.yaml文件，一个标准的pre-commit 定义 内容 核心是id，name，entry，la 阅读全文

摘要：内容来自官方文档，主要是简单说明下，方便学习 约定 git 项目需要包含.pre-commit-hooks.yaml 文件，里边内容格式如下 - id: trailing-whitespace name: Trim Trailing Whitespace description: This hook 阅读全文

摘要：pre-commit 多语言pre-commit hooks 框架 基于python 开发，功能很强大 参考使用 安装 pip install pre-commit 添加配置 .pre-commit-config.yaml repos: - repo: https://github.com/pre- 阅读全文

摘要：dbt-checkpoint 实际上属于pre-commit hooks plugin 实现了不少hooks 可以用来提升dbt 项目的模型质量内部处理上实际是对于dbt 的元数据进行解析，当然dbt-checkpoint 也提供了不少其他扩展 目前包含的hooks 只大概说明下，详细的后边介绍下， 阅读全文

摘要：核心是通过ManifestLoader 的load 方法中通过调用ReadFilesFromFileSystem 处理的，以前简单说明dbt 的一些任务执行是需要先生成manifest文件（比如run） 此任务数据的预处理是通过装饰器 ReadFilesFromFileSystem 类 @datac 阅读全文

摘要：以前简单介绍过dbt 的manifest Compiler 模块，以下说明下dbt 的CompileTask cli task 作用 核心是对于解析生成的Manifest 进行编译，同时还会对于编译结果写入target 目录，同时还需要进行db 链接进行一个check 处理（比如schema 信息获 阅读全文

摘要：实际上是dbt 在设计macro 中的一个技巧，比较有意思，对于系统或者三方包开发的macro 添加自己prefix 比如，原始macro name 为dremio__alter_column_type dbt 会将解析的macro 添加一个dbt_macro__的前缀为 dbt_macro__dr 阅读全文