摘要：就在最近nginx 发布了1.25.5 有一些特性比较有意思 新特性 stream 支持虚拟主机了 比较有意思的功能，结合sni 可以做一些很有意思的事情 一个新的模块ngx_stream_pass_module 与proxy_pass 类似，目前主要是proxy 到ip port （域名以及类似u 阅读全文

摘要：dbt exceptions 实际属于一个namespace 变量可以进行一些代码可控的异常处理以及raise 以及warn 参考使用 raise_compiler_error 使用 {% if number < 0 or number > 100 %} {{ exceptions.raise_co 阅读全文

摘要：adapter.dispatch 是一个很方便的功能，可以实现方法的重载，对于不同环境可以使用不同的macro ，以下是一个简单示例 macro 定义 appdemo.sql 注意在macros 目录下，当然可以修改 {% macro demo(name,age) %} # 注意此处我没有指定，na 阅读全文

摘要：dbt 提供了一个方便的doc 函数，可以方便的使用类似ref 模式进行docs block 定义的引用 引用参考处理 示例 version: 2 models: - name: events description: '{{ doc("table_events") }}' columns: - n 阅读全文

摘要：dbt docs block 是一个jinja2 bblock 的扩展，以下是一个简单的说明 参考使用 定义 {% docs table_events %} This table contains clickstream events from the marketing website. The 阅读全文

摘要：dbt的asset-paths 是一个比较有意思的配置，可以用来增强我们的文档信息，比如存放一些图片在资源描述中引用资源 生成的文档中可以进行显示，提示文档的信息 参考配置 dbt_project.yml asset-paths: ["assets"] 使用 假如assets包含一些描述图片信息 m 阅读全文

摘要：dbt 的docs 实际上自定义上还是很强大的，可以灵活的docs block 解析，同时docs 定义也可以类似model 那样进行引用，当然也包含了一些内部固定模式可以灵活的进行文档的自定义 一些内置自定义玩法 自定义文档路径 类似dbt 其他资源一样docs 也是支持自定义的，否则默认会搜索m 阅读全文

摘要：以前写过如何基于软件包的jar 实现maven 依赖的重构，目前官方ce 依赖的包已经发布了，可以直接使用了 参考资料 https://www.cnblogs.com/rongfengliang/p/18129848 阅读全文

摘要：dremio dbt 内部对于ref 进行了重写，可以实现一些灵活的扩展 参考处理 ref 参考实现 dbt/include/dremio/macros/builtins/builtins.sql 对于ref 进行了一些调整，可以进行一些自定义操作，核心是对于模型格式化的定义 {%- macro r 阅读全文

摘要：主要记录下如何使用npm 的pack 命令，快速下载npm repo 中的tar 包，方便项目使用 参考处理 参考命令 npm pack @lakehouse-rs/flight-sql-client-linux-x64-gnu@0.0.7 效果 说明 当然也可以通过npm 的json api 格式 阅读全文

摘要：dremio dbt adapter 在设计的时候与传统adapter 稍有不同，比如里边调整了database 名称的处理，同时因为dremio 的特殊性 对于物化的处理是先物化然后创建一个视图（table 模式的） 对于我们实际使用到的数据是在dremio 的space （或者nessie 数据 阅读全文

摘要：dremio SchemaMutability 属于一个枚举，定义了schema 的可变性能力() 参考定义 public enum SchemaMutability { @Tag(1) ALL(true, true, true, true), @Tag(2) NONE(false, false, 阅读全文

摘要：casl 同构授权js 框架，提供了web前端以及后端的集成支持（使用相同的api ） 包含的特性 多功能 灵活的基于subject 以及属性的授权处理 同构 同时支持前端以及后端 类型安全 基于ts 开发 小巧 压缩之后只有6kb 声明式的 基于声明式的可以灵活的进行规则的共享，包含了ui，api 阅读全文

摘要：对于slack 的unfurl lightdash 使用了headless browser，以下说明下内部处理 参考图 此图来自官方文档，可以看出主要包含了调度以及slack 的 内部实现 实际上就是对于 unfurl 的图片处理部分,里边包含了cookie处理（安全）以及对于请求进行拦截（核心也是 阅读全文

摘要：日常中大家为了提高web的性能基于可见区的图片加载基本常见，但是对于基于puppeteer的快照以及pdf生成就不太方便了，以下是一个解决方法，核心是过去内容的高度，基于代码进行滚动，模拟人的操作实现资源的加载 参考实现 const express = require("express"); con 阅读全文

摘要：基于browserless 以及puppeteer 我们可以快速的进行屏幕捕捉生成图片以及导出pdf 文件，以下是一个简单的试用 环境准备 docker-compose version: "3" services: app: image: browserless/chrome:latest port 阅读全文

摘要：browserless 部署无头浏览器到docker 中的工具 包含的特性 支持可配置的并行以及请求队列 开箱即用的字体支持 debug 视图支持 交互式的puppeteer 调试器 支持puppeteer 以及playwright 支持基于websocket 以及rest api 的请求控制（可以 阅读全文

摘要：通过flags 可以使用dbt cli 的一些参数，比较常用的是对于增量物化处理的场景 参考使用 {% if flags.FULL_REFRESH %} drop table ... {% else %} -- no-op {% endif %} 说明 支持的参数都在flags 中可以看看，一些db 阅读全文

摘要：dbt 的adapter macro 提供了方便的在macro 中对于db 操作的能力，让macro 具有了动态能力，默认包含了不少实现 而且在不少dbt 项目中经常看到 参考使用 结合了api 这个macro 提供了能力，进行ddl 的维护 {%- set target_relation = ap 阅读全文

摘要：FormatCreator 的核心职责就是进行Format plugin 的创建 核心提供的能力 如下图，目前核心是为FileSystemPlugin 提供格式化处理的能了（包含了格式识别，数据预览，格式插件查找，创建格式插件） 构造函数初始化 默认是基于了动态类发现以及加载进行系统FormatPl 阅读全文