2021年1月19日
大数据调度与数据质量的重要性
摘要： 功能需求： 调度 与数据质量应该并行进行开发设计 1、ETL任务设计时均需要设计为失败可重跑：失败的原因包括源端数据存在问题、数据库服务重启等等 2、ETL任务设计时需要设计为失败自动尝试； 2、ETL任务应该可以实现可视化、便于快速查看依赖关系 3、ETL中数据质量的check应该发生在跨系统时刻 阅读全文
posted @ 2021-01-19 15:59 bioamin 阅读(196) 评论(0) 推荐(0) 编辑