dagster开源数据资产可观测平台调度平台

dagster 是基于python 开发的数据调度平台，可以方便的处理数据的pipeline 同时支持数据资产的可观测性
而且还可以支持dbt 处理

参考架构

 

 

说明

dagster 支持的集成是很多的，airflow，dbt，pandas，pyspark

参考资料

https://dagster.io/
https://github.com/dagster-io/dagster
https://github.com/great-expectations/great_expectations