摘要：SourceCapabilities 提供了对于存储插件能力的一些说明,在dremio 的执行计划中占有比较大的作用，以下简单说明下 SourceCapabilities 类定义 每个存储扩展的实现都有一个getSourceCapabilities 的方法，具体SourceCapabilities 阅读全文

摘要：dbt render macro 官方文档并没有说明，但是在一些三方adapter 中发现有使用到简单说明下 参考使用 {% materialization external, adapter="duckdb", supported_languages=['sql', 'python'] %} {% 阅读全文

摘要：dbt 默认snapshot 的处理使用了 snapshot_staging_table 中间表，了解内部处理有利于学习快照处理技术 macro 定义 内部的处理实际上就是对于已经存在的快照表数据与目前需要进行快照的查询数据进行比较，会处理添加的，删除的，以及交集数据，dbt 使用了自己的支持key 阅读全文

摘要：jenkins maven-hpi-plugin 是方便进行jenkins plugin 开发的一个maven plugin，提供了打包，测试，以及本地运行的能力，以下简单说明下 关于run 命令的处理 内部处理 实现上hpi:run 命令复用了jetty maven 插件的一些能力，对于我们提供了 阅读全文

摘要：dbt 不少资源类型都支持config macro 的使用，可以进行灵活的配置管理 参考使用 配置 模型的执行物化策略 {{ config( materialized="<materialization_name>", sql_header="<string>" ) }} 快照的 {{ config 阅读全文

摘要：属于一个简单的学习，基于了官方提供的脚手架，运行一个简单测试插件，了解下开发流程 基于脚手架的简单项目 创建 使用archetype 会提示选择的模版 mvn -U archetype:generate -Dfilter="io.jenkins.archetypes:" 构建 mvn clean v 阅读全文

摘要：dbt 的snapshot 实际上也是一种物化处理，支持与test，docs，稍有不同就是dbt 没定义独立的block 扩展，以下是一个简单说明 dbt 目前默认的snapshot是基于了scd2 模型 使用 包含了配置以及snapshot 定义，配置支持dbt_project 项目级以及独立sn 阅读全文

摘要：dbt dbt_external_tables 提供了在source 中使用外部table 的能力，主要面向的一些支持外表能力的数据仓库 因为dbt 已经支持了对于external配置属性的解析，dbt-external-tables 包核心就是对于包含属性的进行处理 比如创建table，schem 阅读全文

摘要：实际上属于一个测试，尤其在自己电脑资源有限以及网络比较慢的时候基于gitpod 的构建是很不错的，同时基于 jetbrains 的gateway 可以直接进行远程开发 构建 命令 mvn clean install -DskipTests -Dlicense.skip=true 可能需要安装下jav 阅读全文

摘要：fromyaml 上下文方法可以用来加载yaml 内容，属于一个工具类，比如automate-dv 就使用了不少方法 参考使用 {%- set info -%} source_model: raw_staging: "raw_customer" derived_columns: SOURCE: "! 阅读全文

摘要：很多时候我们是希望在自己开发的macro中引用relation 这样可以获取实际模型在数据库中的信息，方便数据的写入，或者进行查询 实现动态能力，尤其在进行数据质量方便的处理时候，以下简单说明下一些可选的方法 参考方法 直接使用api.Relation.create 创建新的 如果知道一些信息（da 阅读全文

摘要：说明此服务是从25.0 开始包含的，同时在release note 中也有说明，以下主要说明下内部实现 release 信息 如下，具体就不翻译了，主要是添加了一个每个任务进行每个view最大保留50个历史信息 Added daily catalog maintenance tasks to tri 阅读全文

摘要：dbt 实际上提供了一个plugin 架构（属于扩展与adapter 的plugin 机制是不一样的）只是目前官方缺少文档的说明 以下是一些简单说明 内部处理 插件接口定义 目前相对简单，只提供了核心是3个方法initialize，get_nodes，get_manifest_artifacts c 阅读全文

摘要：dremio-stress 是基于rest 以及jdbc 的dremio 压力测试工具，实现上相对简单，并不是比较复杂的东西，可以结合一些业务场景使用同时建议和dremio-diagnostic-collector 配合起来 说明 此工具应该并非官方的，实际如果需要进行大规模测试基于tpc-h 会更 阅读全文

摘要：japicmp 是一个比较强大的工具，可以方便的进行jar 文件的比较，同时提供各类输出格式，java class 解析上使用了javassist同时我们配置jar 的classpath，进行完整比较，也可以忽略，japicmp 也提供了maven plugin 可以方便使用，如果希望在系统中集成我 阅读全文

摘要：以前简单说过，实际上dbt 的flags 提供的参数还是不少的 参考内容 一个参考内容 可以看出还是不少信息的 flags Namespace(WRITE_JSON=True, WARN_ERROR=None, PROFILES_DIR='xxxx/.dbt', INDIRECT_SELECTION 阅读全文

摘要：有时我们希望对于ssl 进行一些信息的查看，以下是一些工具，以及参考使用命令 nmap nmap --script ssl-enum-ciphers -p 5671 possum.lmq.cloudamqp.com openssl openssl s_client -connect possum.l 阅读全文

摘要：就在最近dremio dbt 包升级到1.7了，兼容dbt -core 1.7 特性了，以前是基于1.5的 说明 dbt 新版本还是有不少新特性的，对于升级版本后边尝试试用下 参考资料 https://github.com/dremio/dbt-dremio/releases/tag/v1.7.0 阅读全文

摘要：dbt on_configuration_change 目前主要是在处理物化视图中，on_configuration_change 包含了三类设置 参考设置 apply 是默认参数，尝试进行更新存在的数据库对象 continue 允许继续运行，但是提供一个警告 fail 如果捕捉到变动就失败 参考使 阅读全文

摘要：dremio 25.0 版本对于logback 的日志配置支持自动reload 了，不需要重启服务了，功能上看似乎很高级，实际上只是利用了logback 的能力，以下简单说明下 新添加的配置 logback.xml <configuration scan="true" scanPeriod="30 阅读全文