astronomer-cosmosy一个方便dbt 在apache airflow 运行的工具

dbt 在国外比较火,同时社区也提供了不少调度运行模式(core 部分没提供),研究apache airflow 是一个不错的选择,但是原生script 模式的调用
比较简单,astronomer-cosmosy 提供了方便dbt 在apache airflow 通过dag 以及task groups 运行的功能

支持的特性

  • 基于airflow connections 的链接,而不是dbt profile
  • 原生支持虚拟环境,避免冲突
  • 模型完成之后会立即进行测试运行,可以尽早发现错误
  • 当上游数据进入变动的是否基于airflow 的数据感知调度,立即进行执行
  • 转换dbt 模型为task 以及task groups 包含了重试以及报警。。。

说明

类似的dagster也是一个不错的选择,当然如果项目简单基于jenkins 也是一种选择,astronomer-cosmos 值得尝试下

参考资料

https://github.com/astronomer/astronomer-cosmos
https://astronomer.github.io/astronomer-cosmos/
https://docs.dagster.io/integrations/dbt
https://www.getdbt.com/coalesce-2020/orchestrating-dbt-with-dagster

posted on 2024-01-21 10:13  荣锋亮  阅读(87)  评论(0编辑  收藏  举报

导航