astronomer-cosmosy一个方便dbt 在apache airflow 运行的工具

dbt 在国外比较火，同时社区也提供了不少调度运行模式（core 部分没提供），研究apache airflow 是一个不错的选择，但是原生script 模式的调用
比较简单，astronomer-cosmosy 提供了方便dbt 在apache airflow 通过dag 以及task groups 运行的功能

支持的特性

• 基于airflow connections 的链接，而不是dbt profile
• 原生支持虚拟环境，避免冲突
• 模型完成之后会立即进行测试运行，可以尽早发现错误
• 当上游数据进入变动的是否基于airflow 的数据感知调度，立即进行执行
• 转换dbt 模型为task 以及task groups 包含了重试以及报警。。。

说明

类似的dagster也是一个不错的选择，当然如果项目简单基于jenkins 也是一种选择，astronomer-cosmos 值得尝试下

参考资料

https://github.com/astronomer/astronomer-cosmos
https://astronomer.github.io/astronomer-cosmos/
https://docs.dagster.io/integrations/dbt
https://www.getdbt.com/coalesce-2020/orchestrating-dbt-with-dagster