摘要: 数据漂移问题及解决方案 什么是数据漂移? 数据漂移是 ODS 数据的一个顽疾,通常指 ODS 表的同一个业务日期数据中包含前一天或后一天凌晨附近的数据或者丢失当天的变更数据。 实际场景 公司主营互联网金融业务,因此有了一张数据量庞大的申请人信息记录表。这张表里的时间字段非常多,因为整个业务场景涉及到好几段流程: 客户提交申 阅读全文
posted @ 2023-03-06 19:31 Ji_Lei 阅读(1057) 评论(0) 推荐(0) 编辑
摘要: 数据问题排查思路 1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是,业务系统功能开发一旦完成并通过测试,一般就可以比较稳定地长期运行,因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论,却很难保持稳定。因为输入数据每天都在源源不断产生,很难保证数据没有大的波动,而输入的不稳 阅读全文
posted @ 2023-03-06 17:05 Ji_Lei 阅读(548) 评论(0) 推荐(2) 编辑