05 2024 档案

dbt dbt_utils 包中的pivot简单说明
摘要：dbt-utils 中的pivot macro 实际上就是实现了我们平时会碰到的一些sql 行转列问题 dbt-utils pivot实现处理 行转列的方法很多有基于case 判断的，也有直接使用数据库提供的pivot 函数的，dbt 使用了case 模式 参考实现 {% macro pivot(c 阅读全文

posted @ 2024-05-31 08:00 荣锋亮 阅读(23) 评论(0) 推荐(0) 编辑

dremio 系统内部插件
摘要：dremio 不少处理都是基于插件开发的，以前我也简单说明过，以下是结合启动日志列一个相对完整的内部存储插件名称 目前系统内部插件 目前包含了如下几个，可以通过启动日志看出来 系统存储插件 INFORMATION_SCHEMA __jobResultsStore __logs __support _ 阅读全文

posted @ 2024-05-30 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

dremio DatasetListingService 服务简单说明二
摘要：以前简单介绍过DatasetListingService，以下再说明下 创建 是通过DACDaemonModule 创建的 参考处理 final DatasetListingService localListing; if (isDistributedMaster) { // 默认实现是依赖Name 阅读全文

posted @ 2024-05-29 04:38 荣锋亮 阅读(4) 评论(0) 推荐(0) 编辑

dbt dbt-codegen 包简单说明
摘要：dbt-codegen 是一个比较方便的dbt 工具包，可以用来生成模型 目前包含的macro generate_source source 类的 生成source 信息，实际上就是生成source 的yaml 文件 参考运行命令 cli 模式，就是通过run-operation 执行macro d 阅读全文

posted @ 2024-05-28 08:00 荣锋亮 阅读(32) 评论(0) 推荐(0) 编辑

changie 简单试用
摘要：changie 是基于golang 开发的，官方提供了多种安装模式（rpm/deb 包），brew 包，npm 包，以下是一个简单试用 安装 可以结合上边说的，我使用了brew 安装命令 brew tap miniscruff/changie https://github.com/miniscruf 阅读全文

posted @ 2024-05-27 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dremio nginx proxy 问题简单说明二
摘要：以前说过基于修改dremio 服务的静态index.html 实际上还有一种方法就是直接通过nginx 的sub_filter 指令，以下是简单说明 配置 核心是nginx ，后端服务就不需要修改了 nginx.conf 核心是sub_filter 的匹配处理 worker_processes 1; 阅读全文

posted @ 2024-05-26 17:21 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

changie 预处理release changelog 工具
摘要：changie 提供了比较友好的changelogs 说明 changelog 的一些原则 记住日志是写给人而非机器的 每个版本都应该有独立的入口 同类改动应该分组放置 不同版本应分别设置链接 新版本在前，旧版本在后 应包括每个版本的发布日期 注明是否遵守语义化版本规范 changie 提供的一些c 阅读全文

posted @ 2024-05-26 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

aws jsii 基于js 实现跨语言交互的编译器
摘要：jsii aws 开源的，让我们可以基于js 实现跨语言交互的编译器，我们可以基于ts开发功能，然后通过编译器jsii可以实现其他语言的通信，目前支持C#，golang，java，python runtime 参考架构 如下图 说明 从架构上我们可以看出jsii 的通信是基于了标准输入输出的处理，实 阅读全文

posted @ 2024-05-25 08:00 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

dremio nginx proxy 问题简单说明
摘要：dremio ui 处理上部分直接依赖了location pathname 对于使用默认的/ 的proxy 是没有问题的，但是很多时候我们需要自己配置一个proxy path ，以下简单说明下问题，以及解决方法 环境准备 docker-compose version: "3" services: n 阅读全文

posted @ 2024-05-24 17:09 荣锋亮 阅读(19) 评论(0) 推荐(0) 编辑

dbt var 简单说明
摘要：dbt 的var 可以进行变量的定义以及变量的引用，以下简单说明下 参考使用 引用定义的 参考定义 name: my_dbt_project version: 1.0.0 config-version: 2 # Define variables here vars: event_type: acti 阅读全文

posted @ 2024-05-24 08:00 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

dbt get_materialized_view_configuration_changes 简单说明
摘要：dbt 的get_materialized_view_configuration_changes 实际上是属于 on_configuration_change 相关的处理，目前一些实现主要是处理 物化视图的，以下说明下内部实现 内部处理 默认实现 dbt-adapter 中，实际为空 {% macr 阅读全文

posted @ 2024-05-23 07:02 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

dbt sql_header 简单说明
摘要：dbt 有一个query_heder 也有一个sql_header，与pre_hooks 有类似的能力，但是sql_header 是与sql 的create table as 以及create view as 是一起执行的，而且是在之前的 参考使用 模型定义 {{ config( sql_heade 阅读全文

posted @ 2024-05-22 08:00 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

url-pattern 一个不错的url 模式解析包
摘要：url-pattern 是一个很不错的url 模式解析包，可以方便的进行url 解析（类似我们web 框架的路由处理）可以用来实现方便的url 解析处理 因为很多时候我们需要获取url 的部分信息，基于正则是可以的，但是url-pattern 提供了比较灵活的模式匹配是一个很不错的工具包 参考使用 阅读全文

posted @ 2024-05-21 17:24 荣锋亮 阅读(24) 评论(0) 推荐(0) 编辑

sqids hashids 的升级版
摘要：sqids 是hashids 的升级版，提供了不少新功能，但是与hashids是不兼容的 包含的特性 生成短id 方便编码以及解码 自动生成id 支持通过自定义大阮的字母生成id 每个版本可以生成唯一的id 支持blocklist 使用场景 主键编码 保存数据库查找 临时登陆token 不适合的场景 阅读全文

posted @ 2024-05-21 17:24 荣锋亮 阅读(47) 评论(0) 推荐(0) 编辑

dbt adapter get_incremental_strategy_macro 简单说明
摘要：dbt adapter 的get_incremental_strategy_macro 核心获取增量策略的macro 名称，可以参考我以前写的一些 使用 目前就是应用在dbt 的增量场景中 增量参考使用 {% set incremental_strategy = config.get('increm 阅读全文

posted @ 2024-05-21 08:00 荣锋亮 阅读(5) 评论(0) 推荐(0) 编辑

dbt adapter expand_target_column_types 简单说明
摘要：adapter expand_target_column_types 核心作用是进行关系的展开对比，确定我们的模型是否需要进行提升（实际上就是数据类型变动） 此功能目前在dbt 的快照以及增量物化场景中使用到 参考使用 简单示例 {% set tmp_relation = adapter.get_r 阅读全文

posted @ 2024-05-20 07:31 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

dbt adapter 的get_relation 简单说明
摘要：dbt 的adapter.get_relation 可以方便的获取存在的relation 信息，以下是一个简单说明 参考实现 内部处理 @available.parse_none def get_relation(self, database: str, schema: str, identifie 阅读全文

posted @ 2024-05-19 08:00 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

puppeteer使用一些技巧简单说明
摘要：puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式 以下是对于puppeteer使用的一些简单总结 一些问题 browser && page 对象复用问题 实际上还是结合实际，个人建议减少复 阅读全文

posted @ 2024-05-18 22:25 荣锋亮 阅读(66) 评论(0) 推荐(0) 编辑

puppeteer localstorage 处理简单说明
摘要：puppeteer 对于cookie 以及localstorage 的控制实际上还是比较常见的需求，现在主流web 开发都比较喜欢使用localstorage 进行一些数据的额存储，以下是关于localstorage 处理的一个简单演示 环境准备 基于了browserless（使用了v2版本，注意b 阅读全文

posted @ 2024-05-18 22:19 荣锋亮 阅读(300) 评论(0) 推荐(0) 编辑

dremio 分布式存储docker配置简单说明
摘要：对于dremio 分布式存储的配置我们直接修改配置文件，当然基于环境变量 参考配置 dremio: platform: linux/x86_64 image: dremio/dremio-oss:latest ports: - 9047:9047 - 31010:31010 - 32010:3201 阅读全文

posted @ 2024-05-18 22:18 荣锋亮 阅读(28) 评论(0) 推荐(0) 编辑

jenkins docker 开启debug 简单说明
摘要：jenkins docker 镜像为了方便调试，已经内置了一个环境变量可以方便的开启基于jdwp 协议的debug 处理，以下是一个简单使用 参考配置 docker-compose 文件 services: jenkins: image: jenkins/jenkins:lts environmen 阅读全文

posted @ 2024-05-18 22:13 荣锋亮 阅读(77) 评论(0) 推荐(0) 编辑

dbt Relation check_schema_exists 一个有意思的功能
摘要：dbt 内部总有一些隐藏的小细节，官方文档没有说明，但是在一些adapter 实现中包含，一些是关于check_schema_exists 的一些说明 内部处理 dbt/adapters/sql/impl.py def check_schema_exists(self, database: str, 阅读全文

posted @ 2024-05-18 06:07 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dbt model 对象简单说明
摘要：dbt model 属于graph 对象，实际上就是一个node 节点，包含了当前模型的一些信息 主要场景 访问config 设置 访问模型的路径 参考使用 查看模型内容 可以通过log macro {{ log(model, info=True) }} 内部实现 实际上就是context 属性信息 阅读全文

posted @ 2024-05-17 06:26 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

dbt 单元测试简单说明
摘要：dbt 对于测试的支持包含了数据测试以及单元测试, 数据测试可以保证表的质量，但是单元测试可以确保模型的业务一致性 简单说明 当前只支持模型的 只支持当前项目的单元测试 除非声明多版本也会进行测试 单元测试只能在models 目录下 yaml 格式的 如果希望依赖ephemeral 模型需要配置fo 阅读全文

posted @ 2024-05-16 06:42 荣锋亮 阅读(34) 评论(0) 推荐(0) 编辑

dremio 的SourceCapabilities 能力简单说明
摘要：SourceCapabilities 提供了对于存储插件能力的一些说明,在dremio 的执行计划中占有比较大的作用，以下简单说明下 SourceCapabilities 类定义 每个存储扩展的实现都有一个getSourceCapabilities 的方法，具体SourceCapabilities 阅读全文

posted @ 2024-05-15 07:56 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

dbt render macro 简单说明
摘要：dbt render macro 官方文档并没有说明，但是在一些三方adapter 中发现有使用到简单说明下 参考使用 {% materialization external, adapter="duckdb", supported_languages=['sql', 'python'] %} {% 阅读全文

posted @ 2024-05-14 08:00 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

dbt 默认snapshot snapshot_staging_table 处理简单说明
摘要：dbt 默认snapshot 的处理使用了 snapshot_staging_table 中间表，了解内部处理有利于学习快照处理技术 macro 定义 内部的处理实际上就是对于已经存在的快照表数据与目前需要进行快照的查询数据进行比较，会处理添加的，删除的，以及交集数据，dbt 使用了自己的支持key 阅读全文

posted @ 2024-05-13 00:30 荣锋亮 阅读(16) 评论(0) 推荐(0) 编辑

创建一个不带认证的jenkins环境
摘要：对于jenkins 禁用认证的方法很多，大家可能经常看到的是先启动，然后禁用认证模式的,实际上jenkins 有一些可配置参数进行不带认证环境的直接开启 禁用配置模式的 首先启动，然后修改jenkins home 中的config.xml <?xml version='1.1' encoding=' 阅读全文

posted @ 2024-05-12 06:56 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

jenkins maven-hpi-plugin 插件run 内部处理简单说明
摘要：jenkins maven-hpi-plugin 是方便进行jenkins plugin 开发的一个maven plugin，提供了打包，测试，以及本地运行的能力，以下简单说明下 关于run 命令的处理 内部处理 实现上hpi:run 命令复用了jetty maven 插件的一些能力，对于我们提供了 阅读全文

posted @ 2024-05-12 06:55 荣锋亮 阅读(82) 评论(0) 推荐(0) 编辑

dbt config macro 简单说明
摘要：dbt 不少资源类型都支持config macro 的使用，可以进行灵活的配置管理 参考使用 配置 模型的执行物化策略 {{ config( materialized="<materialization_name>", sql_header="<string>" ) }} 快照的 {{ config 阅读全文

posted @ 2024-05-12 06:51 荣锋亮 阅读(21) 评论(0) 推荐(0) 编辑

jenkins plugin 开发简单说明
摘要：属于一个简单的学习，基于了官方提供的脚手架，运行一个简单测试插件，了解下开发流程 基于脚手架的简单项目 创建 使用archetype 会提示选择的模版 mvn -U archetype:generate -Dfilter="io.jenkins.archetypes:" 构建 mvn clean v 阅读全文

posted @ 2024-05-11 11:27 荣锋亮 阅读(37) 评论(0) 推荐(0) 编辑

dbt snapshot 处理简单说明
摘要：dbt 的snapshot 实际上也是一种物化处理，支持与test，docs，稍有不同就是dbt 没定义独立的block 扩展，以下是一个简单说明 dbt 目前默认的snapshot是基于了scd2 模型 使用 包含了配置以及snapshot 定义，配置支持dbt_project 项目级以及独立sn 阅读全文

posted @ 2024-05-11 08:00 荣锋亮 阅读(33) 评论(0) 推荐(0) 编辑

dbt dbt_external_tables 包简单说明
摘要：dbt dbt_external_tables 提供了在source 中使用外部table 的能力，主要面向的一些支持外表能力的数据仓库 因为dbt 已经支持了对于external配置属性的解析，dbt-external-tables 包核心就是对于包含属性的进行处理 比如创建table，schem 阅读全文

posted @ 2024-05-10 19:37 荣锋亮 阅读(18) 评论(0) 推荐(0) 编辑

jetbrains gateway + gitpod 进行dremio 构建
摘要：实际上属于一个测试，尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的，同时基于 jetbrains 的gateway 可以直接进行远程开发 构建 命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

posted @ 2024-05-10 19:36 荣锋亮 阅读(44) 评论(0) 推荐(0) 编辑

dbt fromyaml 上下文方法简单说明
摘要：fromyaml 上下文方法可以用来加载yaml 内容，属于一个工具类，比如automate-dv 就使用了不少方法 参考使用 {%- set info -%} source_model: raw_staging: "raw_customer" derived_columns: SOURCE: "! 阅读全文

posted @ 2024-05-10 16:25 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dbt macro 中获取relation 的几种方法
摘要：很多时候我们是希望在自己开发的macro中引用relation 这样可以获取实际模型在数据库中的信息，方便数据的写入，或者进行查询 实现动态能力，尤其在进行数据质量方便的处理时候，以下简单说明下一些可选的方法 参考方法 直接使用api.Relation.create 创建新的 如果知道一些信息（da 阅读全文

posted @ 2024-05-10 12:57 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

dremio CatalogMaintenanceService 服务简单说明
摘要：说明此服务是从25.0 开始包含的，同时在release note 中也有说明，以下主要说明下内部实现 release 信息 如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

posted @ 2024-05-10 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

dbt plugin 系统简单说明
摘要：dbt 实际上提供了一个plugin 架构（属于扩展与adapter 的plugin 机制是不一样的）只是目前官方缺少文档的说明 以下是一些简单说明 内部处理 插件接口定义 目前相对简单，只提供了核心是3个方法initialize，get_nodes，get_manifest_artifacts c 阅读全文

posted @ 2024-05-09 11:57 荣锋亮 阅读(10) 评论(0) 推荐(0) 编辑

dremio-stress dremio 压力测试工具
摘要：dremio-stress 是基于rest 以及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来 说明 此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更 阅读全文

posted @ 2024-05-09 11:57 荣锋亮 阅读(64) 评论(0) 推荐(0) 编辑

japicmp jar 文件比较工具
摘要：japicmp 是一个比较强大的工具，可以方便的进行jar 文件的比较，同时提供各类输出格式，java class 解析上使用了javassist同时我们配置jar 的classpath，进行完整比较，也可以忽略，japicmp 也提供了maven plugin 可以方便使用，如果希望在系统中集成我 阅读全文

posted @ 2024-05-09 00:07 荣锋亮 阅读(302) 评论(0) 推荐(0) 编辑

dbt flags 简单说明二
摘要：以前简单说过，实际上dbt 的flags 提供的参数还是不少的 参考内容 一个参考内容 可以看出还是不少信息的 flags Namespace(WRITE_JSON=True, WARN_ERROR=None, PROFILES_DIR='xxxx/.dbt', INDIRECT_SELECTION 阅读全文

posted @ 2024-05-09 00:04 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

ssl check 工具以及参考命令
摘要：有时我们希望对于ssl 进行一些信息的查看，以下是一些工具，以及参考使用命令 nmap nmap --script ssl-enum-ciphers -p 5671 possum.lmq.cloudamqp.com openssl openssl s_client -connect possum.l 阅读全文

posted @ 2024-05-08 16:52 荣锋亮 阅读(30) 评论(0) 推荐(0) 编辑

dremio dbt 升级到1.7 版本了
摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的 说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下 参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

posted @ 2024-05-08 11:58 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

dbt on_configuration_change 简单说明
摘要：dbt on_configuration_change 目前主要是在处理物化视图中，on_configuration_change 包含了三类设置 参考设置 apply 是默认参数，尝试进行更新存在的数据库对象 continue 允许继续运行，但是提供一个警告 fail 如果捕捉到变动就失败 参考使 阅读全文

posted @ 2024-05-08 11:57 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

dremio 新的logback 日志配置自动reload 功能简单说明
摘要：dremio 25.0 版本对于logback 的日志配置支持自动reload 了，不需要重启服务了，功能上看似乎很高级，实际上只是利用了logback 的能力，以下简单说明下 新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文

posted @ 2024-05-08 08:00 荣锋亮 阅读(17) 评论(0) 推荐(0) 编辑

dremio dbt 集成nessie分支扩展说明
摘要：dremio dbt 的集成我以前简单说过玩法，同时与nessie 的集成也有说明过（主要是关于配置以及简单使用的） 以下我说明下nessie 分支特性集成的一些可能玩法 nessie 分支简单说明 nessie 基于元数据的分支特性可以很好的辅助我们进行数据模型的开发，而且不需要多份数据，可以使用 阅读全文

posted @ 2024-05-07 09:43 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

dremio AuthProvider 简单说明
摘要：AuthProvider 是在authenticator 模块中提供的接口定义，目前实现包括了LocalUsernamePasswordAuthProvider以及DremioAccessTokenAuthProviderLocalUsernamePasswordAuthProvider 是目前社区 阅读全文

posted @ 2024-05-07 08:00 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dbt relation 包含的一些额外方法简单说明
摘要：在看dbt 关于get_replace_sql macro 的时候发现了一个relation 一些比较有意思的方法，以下简单说明下 dbt relation 类 dbt relation 包含了基类BaseRelation，InformationSchema 类以及各种基于BaseRelation 阅读全文

posted @ 2024-05-06 07:35 荣锋亮 阅读(7) 评论(0) 推荐(0) 编辑

git-commit-id-maven-plugin 插件使用
摘要：git-commit-id maven-plugin 是一个比较有意思的插件，可以提供一些git 详细相关的元数据信息到jar 包中，这样有利于我们分析 业务问题（里边包含了git commitid，分支，提交人，提交日志等信息），以下是一个简单试用 项目准备 一个多模块项目 父pom.xml <? 阅读全文

posted @ 2024-05-06 07:26 荣锋亮 阅读(337) 评论(0) 推荐(0) 编辑

dremio UserService 简单说明
摘要：以前是简单说明过dremio 的UserService ，dremio 实际上支持内部以及外部用户的玩法 类图 可以看到，包含了simple 以及executor 两个，同时实现了UserServiceEvents 支持发布订阅能力的接口（订阅是25.0 版本的） executor 的实现实际上是为 阅读全文

posted @ 2024-05-05 08:00 荣锋亮 阅读(6) 评论(0) 推荐(0) 编辑

cryostat jvm 容器化环境安全的jfr管理工具
摘要：cryostat 属于一个jfr 管理工具，由红帽团队开发，可以用来安全的管理容器环境中的jfr 处理 包含的工具 operator 可以方便的集成到k8s，openshift 中 agent 可以实现cryostat 发现以及jfr 数据的推送 grafana datasource 支持 数据gr 阅读全文

posted @ 2024-05-04 16:12 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

dremio 数据集自动提升处理简单说明
摘要：dremio 对于数据集自动提升可以通过ui，也可以通过sql，当然rest api 也是可以的，目前sql 使用起来相对简单，但是缺少一些配置参数 sql 模式参考命令 // 当前推荐的模式 ALTER TABLE s3.dalong.demo REFRESH METADATA AUTO PROM 阅读全文

posted @ 2024-05-04 08:00 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

dbt show 内部实现简单说明
摘要：以前简单介绍过关于dbt show 的使用，以下简单说明下关于内部处理 参考实现 核心是show.py 中的ShowTask 参考代码 class ShowTask(CompileTask): # 进行判断参数必须包含select 或者inline def _runtime_initialize(s 阅读全文

posted @ 2024-05-04 00:24 荣锋亮 阅读(12) 评论(0) 推荐(0) 编辑

dbt 一些默认可以扩展的macro
摘要：我只结合adapter 包中对于global macro 一些扩展进行说明，还会有其他地方支持扩展的macro（比如自定义schema 的） 系统adapter 提供的几个扩展 dbt/adapters/sql/impl.py 中 几个参考定义 以下这几个是留给了具体adapter 实现进行扩展（有 阅读全文

posted @ 2024-05-04 00:24 荣锋亮 阅读(14) 评论(0) 推荐(0) 编辑

dbt show 命令处理简单说明
摘要：dbt show 主要做以下事情 内部处理 编译基于sql 的model，test，analysis，或者执行基于--inline的sql ，当前不支持python模型 在dw 中执行查询 在终端中预览结果 备注： 默认limit 为5 ，但是可以自己调整通过--limit 参数，同时dbt sho 阅读全文

posted @ 2024-05-03 07:23 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

dremio 读取 jsonl 格式支持
摘要：实际上属于dremio 社区一个问题，内部实际上是dremio 对于格式化插件支持的问题, 不少是基于文件格式硬编码的，尽管 我们可以自定义格式化插件，但是对于已经支持的就有点不是很方便了，可以直接复用现有的，以下说明下修改以及处理 直接修改JSONFormatPlugin 代码支持jsonl 参考 阅读全文

posted @ 2024-05-02 11:31 荣锋亮 阅读(13) 评论(0) 推荐(0) 编辑

dbt docs 解析的替换方案
摘要：supercharged-dbt-docs 是dagster 基于dbt-docs 以及next.js 进行重写的dbt docs 解析以及渲染服务，加速速度很不错，官方有比较对于大型dbt项目加速速度比较慢的可以试用下 参考资料 https://github.com/dbt-labs/dbt-do 阅读全文

posted @ 2024-05-02 08:00 荣锋亮 阅读(15) 评论(0) 推荐(0) 编辑

dbt 自定义AdapterPlugin 中dependencies 简单说明
摘要：结合dbt-redshift 的对于dependencies 部分的定义以及使用简单说明下 参考代码 Plugin: AdapterPlugin = AdapterPlugin( adapter=RedshiftAdapter, # type: ignore credentials=Redshift 阅读全文

posted @ 2024-05-01 08:39 荣锋亮 阅读(11) 评论(0) 推荐(0) 编辑

dbt 自定义schema 简单说明
摘要：dbt 的schema 我们是可以灵活进行自定义的，可以实现一个比较有意思的事情 使用场景 模型级别的schema自定义 seed 数据schema自定义 不同env 或者vars 的schema 自定义 不同target schema 的自定义 schema 自定义 核心是generate_sch 阅读全文

posted @ 2024-05-01 08:38 荣锋亮 阅读(50) 评论(0) 推荐(0) 编辑

dbt Relation 扩展简单说明
摘要：dbt 的Relation 实际上就是包含关系数据库表，数据库，schema 一些信息的描述，dbt 官方提供了api.Relation.create 等操作 进行Relation 的维护，当然系统的builtins 也提供了一些基本的操作能力, 内部使用上会使用dbt BaseRelation 中 阅读全文

posted @ 2024-05-01 08:37 荣锋亮 阅读(8) 评论(0) 推荐(0) 编辑

使用@lakehouse-rs/flight-sql-client nodejs api 快速访问dremio 服务
摘要：@lakehouse-rs/flight-sql-client 是基于rust 开发的node arrow flight sql client ，dremio 目前也是推荐基于arrow flight sql 的访问模式 参考代码 package.json { "name": "node-arrow 阅读全文

posted @ 2024-05-01 08:37 荣锋亮 阅读(9) 评论(0) 推荐(0) 编辑

dbt docs generate 简单说明
摘要：dbt docs generate 核心是获取dbt 项目的元数据信息（包含了project 的）以及相关table的（dbt 模型相关的），然后通过提供的解析页面进行显示 目前是基于静态处理的（先生成，然后基于纯web 的解析渲染）对于展示方法很多，可以基于dbt 的docs serve 命令也可 阅读全文

posted @ 2024-05-01 07:35 荣锋亮 阅读(26) 评论(0) 推荐(0) 编辑

导航