dagster开源数据资产可观测平台调度平台

dagster 是基于python 开发的数据调度平台，可以方便的处理数据的pipeline 同时支持数据资产的可观测性
而且还可以支持dbt 处理

参考架构

 

 

说明

dagster 支持的集成是很多的，airflow，dbt，pandas，pyspark

参考资料

https://dagster.io/
https://github.com/dagster-io/dagster
https://github.com/great-expectations/great_expectations

posted on   荣锋亮  阅读(916)  评论(0)  编辑  收藏  举报

相关博文：
· tapestry-pipeline 开源data pipeline 调度工具
· elementary 面向对象分析师的开源数据可观测工具
· 微众银行开源大数据开发平台组件
· CIG容器重量级 监控系统介绍: CAdvisor+InfluxDB+Granfana
· GDB dashboard
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2021-10-06 扩展cloud-git 支持基于s3的git repo 管理的参考实现
2021-10-06 express Graceful Shutdown 的几种方法
2021-10-06 基于开源工具提供real time api 的一个参考集成方案
2021-10-06 danfojs 类似pandas 的js 数据分析框架
2021-10-06 cube cloud 集成git 部署模式的一个说明
2021-10-06 cloud-git 开发一个git server 试用
2021-10-06 garfish来自字节跳动的微前端框架

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示