prefect 新的开源工作流管理系统
prefect 主要是用来进行数据的工作流管理系统,而且prefect 团队开源了核心工具,而且目前prefect 也提供了比较丰富的工具报(而且支持dremio。。。。)
说明
prefect 是一个很不错的基于python 编写的调用工具,很值得学习下,而且dbt 官方也有介绍到
参考资料
https://www.prefect.io/core
https://github.com/prefecthq/prefect
https://docs.getdbt.com/docs/running-a-dbt-project/running-dbt-in-production
https://docs.prefect.io/api/latest/tasks/dremio.html#dremiofetch