摘要：对于FormatPlugin 我以前也零碎的介绍过一些，会和FormatCreator， FormatMatcher 存储插件等都有一些关系，核心主要还是对于 文件系统的格式处理，今天我在基于easy format 框架 自定义开发jsonline 格式化插件的时候发现目前dremio 对于支持的文 阅读全文

摘要：以前是结合使用对于adapter 的dispatch 有过简单说明，以下结合源码分析下 内部参考处理 参考处理 def dispatch( self, macro_name: str, macro_namespace: Optional[str] = None, packages: Optional 阅读全文

摘要：dbt dbt-audit-helper 包在进行compare_relation_columns处理的时候进行数据表列字段创建顺序的判断 参考使用 我按照test 处理的，同时进行的测试异常进行存储 使用 {{ audit_helper.compare_relation_columns( a_re 阅读全文

摘要：dbt-utils 中的pivot macro 实际上就是实现了我们平时会碰到的一些sql 行转列问题 dbt-utils pivot实现处理 行转列的方法很多有基于case 判断的，也有直接使用数据库提供的pivot 函数的，dbt 使用了case 模式 参考实现 {% macro pivot(c 阅读全文

摘要：dremio 不少处理都是基于插件开发的，以前我也简单说明过，以下是结合启动日志列一个相对完整的内部存储插件名称 目前系统内部插件 目前包含了如下几个，可以通过启动日志看出来 系统存储插件 INFORMATION_SCHEMA __jobResultsStore __logs __support _ 阅读全文

摘要：以前简单介绍过DatasetListingService，以下再说明下 创建 是通过DACDaemonModule 创建的 参考处理 final DatasetListingService localListing; if (isDistributedMaster) { // 默认实现是依赖Name 阅读全文

摘要：dbt-codegen 是一个比较方便的dbt 工具包，可以用来生成模型 目前包含的macro generate_source source 类的 生成source 信息，实际上就是生成source 的yaml 文件 参考运行命令 cli 模式，就是通过run-operation 执行macro d 阅读全文

摘要：changie 是基于golang 开发的，官方提供了多种安装模式（rpm/deb 包），brew 包，npm 包，以下是一个简单试用 安装 可以结合上边说的，我使用了brew 安装命令 brew tap miniscruff/changie https://github.com/miniscruf 阅读全文

摘要：以前说过基于修改dremio 服务的静态index.html 实际上还有一种方法就是直接通过nginx 的sub_filter 指令，以下是简单说明 配置 核心是nginx ，后端服务就不需要修改了 nginx.conf 核心是sub_filter 的匹配处理 worker_processes 1; 阅读全文

摘要：changie 提供了比较友好的changelogs 说明 changelog 的一些原则 记住日志是写给人而非机器的 每个版本都应该有独立的入口 同类改动应该分组放置 不同版本应分别设置链接 新版本在前，旧版本在后 应包括每个版本的发布日期 注明是否遵守语义化版本规范 changie 提供的一些c 阅读全文

摘要：jsii aws 开源的，让我们可以基于js 实现跨语言交互的编译器，我们可以基于ts开发功能，然后通过编译器jsii可以实现其他语言的通信，目前支持C#，golang，java，python runtime 参考架构 如下图 说明 从架构上我们可以看出jsii 的通信是基于了标准输入输出的处理，实 阅读全文

摘要：dremio ui 处理上部分直接依赖了location pathname 对于使用默认的/ 的proxy 是没有问题的，但是很多时候我们需要自己配置一个proxy path ，以下简单说明下问题，以及解决方法 环境准备 docker-compose version: "3" services: n 阅读全文

摘要：dbt 的var 可以进行变量的定义以及变量的引用，以下简单说明下 参考使用 引用定义的 参考定义 name: my_dbt_project version: 1.0.0 config-version: 2 # Define variables here vars: event_type: acti 阅读全文

摘要：dbt 的get_materialized_view_configuration_changes 实际上是属于 on_configuration_change 相关的处理，目前一些实现主要是处理 物化视图的，以下说明下内部实现 内部处理 默认实现 dbt-adapter 中，实际为空 {% macr 阅读全文

摘要：dbt 有一个query_heder 也有一个sql_header，与pre_hooks 有类似的能力，但是sql_header 是与sql 的create table as 以及create view as 是一起执行的，而且是在之前的 参考使用 模型定义 {{ config( sql_heade 阅读全文

摘要：url-pattern 是一个很不错的url 模式解析包，可以方便的进行url 解析（类似我们web 框架的路由处理）可以用来实现方便的url 解析处理 因为很多时候我们需要获取url 的部分信息，基于正则是可以的，但是url-pattern 提供了比较灵活的模式匹配是一个很不错的工具包 参考使用 阅读全文

摘要：dbt adapter 的get_incremental_strategy_macro 核心获取增量策略的macro 名称，可以参考我以前写的一些 使用 目前就是应用在dbt 的增量场景中 增量参考使用 {% set incremental_strategy = config.get('increm 阅读全文

摘要：adapter expand_target_column_types 核心作用是进行关系的展开对比，确定我们的模型是否需要进行提升（实际上就是数据类型变动） 此功能目前在dbt 的快照以及增量物化场景中使用到 参考使用 简单示例 {% set tmp_relation = adapter.get_r 阅读全文

摘要：dbt 的adapter.get_relation 可以方便的获取存在的relation 信息，以下是一个简单说明 参考实现 内部处理 @available.parse_none def get_relation(self, database: str, schema: str, identifie 阅读全文

摘要：puppeteer 是一个nodejs 包提供了方便的基于devtools 协议进行chrome/chromium 控制，puppeteer 默认运行在无头模式 以下是对于puppeteer使用的一些简单总结 一些问题 browser && page 对象复用问题 实际上还是结合实际，个人建议减少复 阅读全文