astronomer-cosmosy一个方便dbt 在apache airflow 运行的工具
dbt 在国外比较火,同时社区也提供了不少调度运行模式(core 部分没提供),研究apache airflow 是一个不错的选择,但是原生script 模式的调用
比较简单,astronomer-cosmosy 提供了方便dbt 在apache airflow 通过dag 以及task groups 运行的功能
支持的特性
- 基于airflow connections 的链接,而不是dbt profile
- 原生支持虚拟环境,避免冲突
- 模型完成之后会立即进行测试运行,可以尽早发现错误
- 当上游数据进入变动的是否基于airflow 的数据感知调度,立即进行执行
- 转换dbt 模型为task 以及task groups 包含了重试以及报警。。。
说明
类似的dagster也是一个不错的选择,当然如果项目简单基于jenkins 也是一种选择,astronomer-cosmos 值得尝试下
参考资料
https://github.com/astronomer/astronomer-cosmos
https://astronomer.github.io/astronomer-cosmos/
https://docs.dagster.io/integrations/dbt
https://www.getdbt.com/coalesce-2020/orchestrating-dbt-with-dagster