功能需求:
调度 与数据质量应该并行进行开发设计
1、ETL任务设计时均需要设计为失败可重跑:失败的原因包括源端数据存在问题、数据库服务重启等等
2、ETL任务设计时需要设计为失败自动尝试;
2、ETL任务应该可以实现可视化、便于快速查看依赖关系
3、ETL中数据质量的check应该发生在跨系统时刻。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步