荣锋亮 - 博客园

dbt dbt-audit-helper 包compare_relation_columns 处理简单说明

摘要： dbt dbt-audit-helper 包在进行compare_relation_columns处理的时候进行数据表列字段创建顺序的判断参考使用我按照test 处理的，同时进行的测试异常进行存储使用 {{ audit_helper.compare_relation_columns( a_re 阅读全文

posted @ 2024-06-01 07:35 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

dbt dbt_utils 包中的pivot简单说明

摘要： dbt-utils 中的pivot macro 实际上就是实现了我们平时会碰到的一些sql 行转列问题 dbt-utils pivot实现处理行转列的方法很多有基于case 判断的，也有直接使用数据库提供的pivot 函数的，dbt 使用了case 模式参考实现 {% macro pivot(c 阅读全文

posted @ 2024-05-31 08:00 荣锋亮阅读(23) 评论(0) 推荐(0) 编辑

dremio 系统内部插件

摘要： dremio 不少处理都是基于插件开发的，以前我也简单说明过，以下是结合启动日志列一个相对完整的内部存储插件名称目前系统内部插件目前包含了如下几个，可以通过启动日志看出来系统存储插件 INFORMATION_SCHEMA __jobResultsStore __logs __support _ 阅读全文

posted @ 2024-05-30 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dremio DatasetListingService 服务简单说明二

摘要：以前简单介绍过DatasetListingService，以下再说明下创建是通过DACDaemonModule 创建的参考处理 final DatasetListingService localListing; if (isDistributedMaster) { // 默认实现是依赖Name 阅读全文

posted @ 2024-05-29 04:38 荣锋亮阅读(4) 评论(0) 推荐(0) 编辑

dbt dbt-codegen 包简单说明

摘要： dbt-codegen 是一个比较方便的dbt 工具包，可以用来生成模型目前包含的macro generate_source source 类的生成source 信息，实际上就是生成source 的yaml 文件参考运行命令 cli 模式，就是通过run-operation 执行macro d 阅读全文

posted @ 2024-05-28 08:00 荣锋亮阅读(32) 评论(0) 推荐(0) 编辑

changie 简单试用

摘要： changie 是基于golang 开发的，官方提供了多种安装模式（rpm/deb 包），brew 包，npm 包，以下是一个简单试用安装可以结合上边说的，我使用了brew 安装命令 brew tap miniscruff/changie https://github.com/miniscruf 阅读全文

posted @ 2024-05-27 08:00 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

dremio nginx proxy 问题简单说明二

摘要：以前说过基于修改dremio 服务的静态index.html 实际上还有一种方法就是直接通过nginx 的sub_filter 指令，以下是简单说明配置核心是nginx ，后端服务就不需要修改了 nginx.conf 核心是sub_filter 的匹配处理 worker_processes 1; 阅读全文

posted @ 2024-05-26 17:21 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

changie 预处理release changelog 工具

摘要： changie 提供了比较友好的changelogs 说明 changelog 的一些原则记住日志是写给人而非机器的每个版本都应该有独立的入口同类改动应该分组放置不同版本应分别设置链接新版本在前，旧版本在后应包括每个版本的发布日期注明是否遵守语义化版本规范 changie 提供的一些c 阅读全文

posted @ 2024-05-26 08:00 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

aws jsii 基于js 实现跨语言交互的编译器

摘要： jsii aws 开源的，让我们可以基于js 实现跨语言交互的编译器，我们可以基于ts开发功能，然后通过编译器jsii可以实现其他语言的通信，目前支持C#，golang，java，python runtime 参考架构如下图说明从架构上我们可以看出jsii 的通信是基于了标准输入输出的处理，实阅读全文

posted @ 2024-05-25 08:00 荣锋亮阅读(27) 评论(0) 推荐(0) 编辑

dremio nginx proxy 问题简单说明

摘要： dremio ui 处理上部分直接依赖了location pathname 对于使用默认的/ 的proxy 是没有问题的，但是很多时候我们需要自己配置一个proxy path ，以下简单说明下问题，以及解决方法环境准备 docker-compose version: "3" services: n 阅读全文

posted @ 2024-05-24 17:09 荣锋亮阅读(19) 评论(0) 推荐(0) 编辑

dbt var 简单说明

摘要： dbt 的var 可以进行变量的定义以及变量的引用，以下简单说明下参考使用引用定义的参考定义 name: my_dbt_project version: 1.0.0 config-version: 2 # Define variables here vars: event_type: acti 阅读全文

posted @ 2024-05-24 08:00 荣锋亮阅读(25) 评论(0) 推荐(0) 编辑

dbt get_materialized_view_configuration_changes 简单说明

摘要： dbt 的get_materialized_view_configuration_changes 实际上是属于 on_configuration_change 相关的处理，目前一些实现主要是处理物化视图的，以下说明下内部实现内部处理默认实现 dbt-adapter 中，实际为空 {% macr 阅读全文

posted @ 2024-05-23 07:02 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

dbt sql_header 简单说明

摘要： dbt 有一个query_heder 也有一个sql_header，与pre_hooks 有类似的能力，但是sql_header 是与sql 的create table as 以及create view as 是一起执行的，而且是在之前的参考使用模型定义 {{ config( sql_heade 阅读全文

posted @ 2024-05-22 08:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

url-pattern 一个不错的url 模式解析包

摘要： url-pattern 是一个很不错的url 模式解析包，可以方便的进行url 解析（类似我们web 框架的路由处理）可以用来实现方便的url 解析处理因为很多时候我们需要获取url 的部分信息，基于正则是可以的，但是url-pattern 提供了比较灵活的模式匹配是一个很不错的工具包参考使用阅读全文

posted @ 2024-05-21 17:24 荣锋亮阅读(24) 评论(0) 推荐(0) 编辑

sqids hashids 的升级版

摘要： sqids 是hashids 的升级版，提供了不少新功能，但是与hashids是不兼容的包含的特性生成短id 方便编码以及解码自动生成id 支持通过自定义大阮的字母生成id 每个版本可以生成唯一的id 支持blocklist 使用场景主键编码保存数据库查找临时登陆token 不适合的场景阅读全文

posted @ 2024-05-21 17:24 荣锋亮阅读(47) 评论(0) 推荐(0) 编辑

dbt adapter get_incremental_strategy_macro 简单说明

摘要： dbt adapter 的get_incremental_strategy_macro 核心获取增量策略的macro 名称，可以参考我以前写的一些使用目前就是应用在dbt 的增量场景中增量参考使用 {% set incremental_strategy = config.get('increm 阅读全文

posted @ 2024-05-21 08:00 荣锋亮阅读(5) 评论(0) 推荐(0) 编辑

dbt adapter expand_target_column_types 简单说明

摘要： adapter expand_target_column_types 核心作用是进行关系的展开对比，确定我们的模型是否需要进行提升（实际上就是数据类型变动）此功能目前在dbt 的快照以及增量物化场景中使用到参考使用简单示例 {% set tmp_relation = adapter.get_r 阅读全文

posted @ 2024-05-20 07:31 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dbt adapter 的get_relation 简单说明

摘要： dbt 的adapter.get_relation 可以方便的获取存在的relation 信息，以下是一个简单说明参考实现内部处理 @available.parse_none def get_relation(self, database: str, schema: str, identifie 阅读全文

posted @ 2024-05-19 08:00 荣锋亮阅读(12) 评论(0) 推荐(0) 编辑

puppeteer使用一些技巧简单说明

摘要： puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式以下是对于puppeteer使用的一些简单总结一些问题 browser && page 对象复用问题实际上还是结合实际，个人建议减少复阅读全文

posted @ 2024-05-18 22:25 荣锋亮阅读(66) 评论(0) 推荐(0) 编辑

puppeteer localstorage 处理简单说明

摘要： puppeteer 对于cookie 以及localstorage 的控制实际上还是比较常见的需求，现在主流web 开发都比较喜欢使用localstorage 进行一些数据的额存储，以下是关于localstorage 处理的一个简单演示环境准备基于了browserless（使用了v2版本，注意b 阅读全文

posted @ 2024-05-18 22:19 荣锋亮阅读(298) 评论(0) 推荐(0) 编辑

dremio 分布式存储docker配置简单说明

摘要：对于dremio 分布式存储的配置我们直接修改配置文件，当然基于环境变量参考配置 dremio: platform: linux/x86_64 image: dremio/dremio-oss:latest ports: - 9047:9047 - 31010:31010 - 32010:3201 阅读全文

posted @ 2024-05-18 22:18 荣锋亮阅读(28) 评论(0) 推荐(0) 编辑

jenkins docker 开启debug 简单说明

摘要： jenkins docker 镜像为了方便调试，已经内置了一个环境变量可以方便的开启基于jdwp 协议的debug 处理，以下是一个简单使用参考配置 docker-compose 文件 services: jenkins: image: jenkins/jenkins:lts environmen 阅读全文

posted @ 2024-05-18 22:13 荣锋亮阅读(77) 评论(0) 推荐(0) 编辑

dbt Relation check_schema_exists 一个有意思的功能

摘要： dbt 内部总有一些隐藏的小细节，官方文档没有说明，但是在一些adapter 实现中包含，一些是关于check_schema_exists 的一些说明内部处理 dbt/adapters/sql/impl.py def check_schema_exists(self, database: str, 阅读全文

posted @ 2024-05-18 06:07 荣锋亮阅读(8) 评论(0) 推荐(0) 编辑

dbt model 对象简单说明

摘要： dbt model 属于graph 对象，实际上就是一个node 节点，包含了当前模型的一些信息主要场景访问config 设置访问模型的路径参考使用查看模型内容可以通过log macro {{ log(model, info=True) }} 内部实现实际上就是context 属性信息阅读全文

posted @ 2024-05-17 06:26 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

dbt 单元测试简单说明

摘要： dbt 对于测试的支持包含了数据测试以及单元测试, 数据测试可以保证表的质量，但是单元测试可以确保模型的业务一致性简单说明当前只支持模型的只支持当前项目的单元测试除非声明多版本也会进行测试单元测试只能在models 目录下 yaml 格式的如果希望依赖ephemeral 模型需要配置fo 阅读全文

posted @ 2024-05-16 06:42 荣锋亮阅读(34) 评论(0) 推荐(0) 编辑

dremio 的SourceCapabilities 能力简单说明

摘要： SourceCapabilities 提供了对于存储插件能力的一些说明,在dremio 的执行计划中占有比较大的作用，以下简单说明下 SourceCapabilities 类定义每个存储扩展的实现都有一个getSourceCapabilities 的方法，具体SourceCapabilities 阅读全文

posted @ 2024-05-15 07:56 荣锋亮阅读(18) 评论(0) 推荐(0) 编辑

dbt render macro 简单说明

摘要： dbt render macro 官方文档并没有说明，但是在一些三方adapter 中发现有使用到简单说明下参考使用 {% materialization external, adapter="duckdb", supported_languages=['sql', 'python'] %} {% 阅读全文

posted @ 2024-05-14 08:00 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

dbt 默认snapshot snapshot_staging_table 处理简单说明

摘要： dbt 默认snapshot 的处理使用了 snapshot_staging_table 中间表，了解内部处理有利于学习快照处理技术 macro 定义内部的处理实际上就是对于已经存在的快照表数据与目前需要进行快照的查询数据进行比较，会处理添加的，删除的，以及交集数据，dbt 使用了自己的支持key 阅读全文

posted @ 2024-05-13 00:30 荣锋亮阅读(16) 评论(0) 推荐(0) 编辑

创建一个不带认证的jenkins环境

摘要：对于jenkins 禁用认证的方法很多，大家可能经常看到的是先启动，然后禁用认证模式的,实际上jenkins 有一些可配置参数进行不带认证环境的直接开启禁用配置模式的首先启动，然后修改jenkins home 中的config.xml <?xml version='1.1' encoding=' 阅读全文

posted @ 2024-05-12 06:56 荣锋亮阅读(11) 评论(0) 推荐(0) 编辑

jenkins maven-hpi-plugin 插件run 内部处理简单说明

摘要： jenkins maven-hpi-plugin 是方便进行jenkins plugin 开发的一个maven plugin，提供了打包，测试，以及本地运行的能力，以下简单说明下关于run 命令的处理内部处理实现上hpi:run 命令复用了jetty maven 插件的一些能力，对于我们提供了阅读全文

posted @ 2024-05-12 06:55 荣锋亮阅读(82) 评论(0) 推荐(0) 编辑

dbt config macro 简单说明

摘要： dbt 不少资源类型都支持config macro 的使用，可以进行灵活的配置管理参考使用配置模型的执行物化策略 {{ config( materialized="<materialization_name>", sql_header="<string>" ) }} 快照的 {{ config 阅读全文

posted @ 2024-05-12 06:51 荣锋亮阅读(21) 评论(0) 推荐(0) 编辑

jenkins plugin 开发简单说明

摘要：属于一个简单的学习，基于了官方提供的脚手架，运行一个简单测试插件，了解下开发流程基于脚手架的简单项目创建使用archetype 会提示选择的模版 mvn -U archetype:generate -Dfilter="io.jenkins.archetypes:" 构建 mvn clean v 阅读全文

posted @ 2024-05-11 11:27 荣锋亮阅读(37) 评论(0) 推荐(0) 编辑

dbt snapshot 处理简单说明

摘要： dbt 的snapshot 实际上也是一种物化处理，支持与test，docs，稍有不同就是dbt 没定义独立的block 扩展，以下是一个简单说明 dbt 目前默认的snapshot是基于了scd2 模型使用包含了配置以及snapshot 定义，配置支持dbt_project 项目级以及独立sn 阅读全文

posted @ 2024-05-11 08:00 荣锋亮阅读(33) 评论(0) 推荐(0) 编辑

dbt dbt_external_tables 包简单说明

摘要： dbt dbt_external_tables 提供了在source 中使用外部table 的能力，主要面向的一些支持外表能力的数据仓库因为dbt 已经支持了对于external配置属性的解析，dbt-external-tables 包核心就是对于包含属性的进行处理比如创建table，schem 阅读全文

posted @ 2024-05-10 19:37 荣锋亮阅读(17) 评论(0) 推荐(0) 编辑

jetbrains gateway + gitpod 进行dremio 构建

摘要：实际上属于一个测试，尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的，同时基于 jetbrains 的gateway 可以直接进行远程开发构建命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

posted @ 2024-05-10 19:36 荣锋亮阅读(44) 评论(0) 推荐(0) 编辑

dbt fromyaml 上下文方法简单说明

摘要： fromyaml 上下文方法可以用来加载yaml 内容，属于一个工具类，比如automate-dv 就使用了不少方法参考使用 {%- set info -%} source_model: raw_staging: "raw_customer" derived_columns: SOURCE: "! 阅读全文

posted @ 2024-05-10 16:25 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

dbt macro 中获取relation 的几种方法

摘要：很多时候我们是希望在自己开发的macro中引用relation 这样可以获取实际模型在数据库中的信息，方便数据的写入，或者进行查询实现动态能力，尤其在进行数据质量方便的处理时候，以下简单说明下一些可选的方法参考方法直接使用api.Relation.create 创建新的如果知道一些信息（da 阅读全文

posted @ 2024-05-10 12:57 荣锋亮阅读(14) 评论(0) 推荐(0) 编辑

dremio CatalogMaintenanceService 服务简单说明

摘要：说明此服务是从25.0 开始包含的，同时在release note 中也有说明，以下主要说明下内部实现 release 信息如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

posted @ 2024-05-10 08:00 荣锋亮阅读(6) 评论(0) 推荐(0) 编辑

dbt plugin 系统简单说明

摘要： dbt 实际上提供了一个plugin 架构（属于扩展与adapter 的plugin 机制是不一样的）只是目前官方缺少文档的说明以下是一些简单说明内部处理插件接口定义目前相对简单，只提供了核心是3个方法initialize，get_nodes，get_manifest_artifacts c 阅读全文

posted @ 2024-05-09 11:57 荣锋亮阅读(10) 评论(0) 推荐(0) 编辑

dremio-stress dremio 压力测试工具

摘要： dremio-stress 是基于rest 以及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来说明此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更阅读全文

posted @ 2024-05-09 11:57 荣锋亮阅读(64) 评论(0) 推荐(0) 编辑

导航

公告