sqlfluff sql linter 以及自动格式化工具
摘要：sqlfluff sql linter 以及自动格式化工具 ,支持多数据库方言，以及模版代码，比较适合ELT 类型的数据分析应用，同时对于dbt 也是比较友好的 特性 多种数据库方言支持 支持模版（jinja，dbt） 可以很好的集成ci/cd dbt 参考效果 因为dbt 使用了jinja 模版引
阅读全文
posted @ 2023-08-04 22:56
随笔分类 - dbt
dbt pacakge 模型引用
摘要：dbt 的package 能力可以方便的实现模型的共享，以下是一个简单的示例，实际上我以前写过（很早了，目前dbt 变化还是很大的） 外部模型引用使用说明 实际上是通过ref宏，明确声明包名以及模型,格式{{ref(<project or package name>,<model name>)} 示
阅读全文
posted @ 2023-08-04 22:11
dbt class 简单说明
摘要：dbt class 可以用来创建数据仓库中的一些对象（比如关系，列）当需要通过高级模式进行模型以及宏构建的时候就比较有用 在不少开源同时也包括官方core 中都有使用到 主要包含的功能 Relation 对象创建 参考(对于在宏中使用 api.Relation.create创建) {% set re
阅读全文
posted @ 2023-07-31 22:11
dbt-server 简单说明
摘要：dbt-server 是dbt 团队对于dbt-rpc 调整之后开源的dbt api 服务，内部基于了dbt-core 提供的cli 编程调用能力 使用到的一些框架 fastapi 提供api 能力 dbt core 进行dbt 任务的执行 celery 基于celery 的任务调度（代码中的wor
阅读全文
posted @ 2023-07-31 17:43
dremio 官方 dbt 扩展
摘要：又一个不错的消息是dremio 官方支持dbt 了，以前是由社区开发的，现在dremio 官方进行了新版本的维护并进行维护了是一个不错的扩展能力，可以加速使用dremio 进行数据开发,而且目前dbt 官方也提供了使用文档 参考资料 https://github.com/dremio/dbt-dre
阅读全文
posted @ 2022-10-22 16:07
how-dbt-fails
摘要：一篇值得学习的dbt 分析文章，内容还是比较有意思的https://benn.substack.com/p/how-dbt-fails
阅读全文
posted @ 2022-10-18 11:00
几个类似dbt 的工具
摘要：cube cube.js 个人比较喜欢的一个无头bi 开源工具，支持建模以及bi 分析，基于nodejs 开发，还是很强大的 Metriql 数据的metrics 层，支持jdbc 操作，以及rest api （部分利用了presto core 部分的代码），基于dbt，也属于无头bi 工具 Mal
阅读全文
posted @ 2022-10-18 11:00
dagster开源数据资产可观测平台调度平台
摘要：dagster 是基于python 开发的数据调度平台，可以方便的处理数据的pipeline 同时支持数据资产的可观测性而且还可以支持dbt 处理 参考架构 说明 dagster 支持的集成是很多的，airflow，dbt，pandas，pyspark 参考资料 https://dagster.io
阅读全文
posted @ 2022-10-06 09:51
kuwala 开源构建分析工作流开发的无代码数据平台
摘要：一张参考图 从下图可以看出kuwala使用到的组件 说明 目前越来越多的数据平台都在集成dbt 以及singer 协议的etl （airbyte 就是扩展了singer），这几个工具还是值得学习的 参考资料 https://github.com/kuwala-io/kuwala
阅读全文
posted @ 2022-06-21 23:44
lightdash 运行简单说明
摘要：基于docker-compose 运行环境 docker-compose 文件 version: "3.8" services: lightdash: image: lightdash/lightdash:latest depends_on: - db environment: - PGHOST=$
阅读全文
posted @ 2022-03-20 23:49
lightdash 对于数据访问的处理
摘要：我们在 Lightdash 的使命是：让您公司中的每个人都能使用数据回答他们自己的问题。 Lightdash 是数据团队（👷♀️ 建设者）和其他业务部门（👩🌾 消费者）聚集在一起以做出更好的数据驱动决策的地方。对于数据构建者和数据消费者之间的这种关系应该如何运作，我们有一些非常强烈的意见。
阅读全文
posted @ 2022-03-20 23:29
lightdash ProjectAdapter 接口定义
摘要：主要介绍接口定义，实际的实现后续说明 ProjectAdapter 是一个比较重要的东西，定义了project 以及dbt client ，WarehouseClient 接口定义 export interface ProjectAdapter { compileAllExplores(): Pro
阅读全文
posted @ 2022-03-20 22:06
lightdash 源码简单介绍
摘要：以下简单介绍下lightdash lightdash 源码结构 代码基于yarn workspace 模式，对于数据库访问为了提升性能基于了odbc（当然也是有其他原因的，比如本来就不能很好使用js驱动的） 核心代码目录都在packages 中 backend // 后端接口项目，比较核心 comm
阅读全文
posted @ 2022-03-20 21:46
lightdash基于dbt 构建的looker 可选工具
摘要：目前基于dbt 开源的东西不少了（dbt的确是数据分析的一个好工具）lightdash 就是基于dbt 开发的一个looker 可选工具基于了ts开发，我们可以基于配置进行dashborad 服务的开发 说明 Metriql 也是一个基于dbt 开发的（此工具是借鉴了dbt的处理，没有直接使用dbt
阅读全文
posted @ 2022-03-19 13:29
Metriql 无头bi 工具
摘要：Metriql 无头bi 工具,核心是基于dbt 的能力进行聚合处理 参考图 Metriql 的玩法 集成dbt 进行数据模式管理 中心化管理metrics 基于rest api，bi 工具 （bi 工具上复用了trino 、presto 驱动） 说明 Metriql 的设计还是很巧妙的，直接利用了
阅读全文
posted @ 2022-03-01 20:15
prefect 新的开源工作流管理系统
摘要：prefect 主要是用来进行数据的工作流管理系统，而且prefect 团队开源了核心工具，而且目前prefect 也提供了比较丰富的工具报（而且支持dremio。。。。） 说明 prefect 是一个很不错的基于python 编写的调用工具，很值得学习下，而且dbt 官方也有介绍到 参考资料 ht
阅读全文
posted @ 2021-08-09 00:01
dbt 集成presto试用
摘要：dbt 团队提供了presto 的adapter同时也是一个不错的的参考实现，可以学习 当前dbt presto 对于版本的要求是0.13.1 对于当前最新版本的还不支持，同时需要使用源码安装pip 包 dbt presto pip 包安装 clone 代码包 git clone https://g
阅读全文
posted @ 2019-07-11 16:40
dbt 0.14.0 试用
摘要：dbt 0.14.0 在最近已经发布了，dbt server 的还是很不错的特性，以下安装试用下几个新功能 环境准备 安装 如果没有安装的： pip install dbt 已经安装的： pip install -U dbt 如果没有安装的： pip install dbt 已经安装的： pip i
阅读全文
posted @ 2019-07-11 15:08
dbt 0.14.0 发布
摘要：以下内容来自官方博客，新的功能还是很不错的，后边尝试使用下。 参考资料：https://blog.fishtownanalytics.com/dbt-v0-14-0-better-serving-our-users-bf7cdbbcd5d2 Introducing dbt v0.14.0 Today
阅读全文
posted @ 2019-07-11 08:55
dbt 0.13.0 新添加特性sources 试用
摘要：dbt 0.13 添加了一个新的功能sources 我呢可以用来做以下事情 从基础模型的源表中进行数据选择 测试对于源数据的假设 计算源数据的freshness source 操作 定义source 模版格式 注意对于pg 等类型的，如果包含了schema 的可能需要配置额外参数，或者通过schem
阅读全文
posted @ 2019-06-07 17:48
