大数据调度与数据质量的重要性

功能需求:

调度 与数据质量应该并行进行开发设计

 

1、ETL任务设计时均需要设计为失败可重跑:失败的原因包括源端数据存在问题、数据库服务重启等等

2、ETL任务设计时需要设计为失败自动尝试;

2、ETL任务应该可以实现可视化、便于快速查看依赖关系

3、ETL中数据质量的check应该发生在跨系统时刻。

 

posted @ 2021-01-19 15:59  bioamin  阅读(196)  评论(0编辑  收藏  举报