05 2022 档案

摘要:一:DQC核心流程 Define:数据质检规则(指标)的定义。 你要告警给谁,你要使用什么方式告警(邮件,即时消息),你的规则是什么(空值,波动)等 Measure:数据质检任务的执行 数据在哪存储:hive、mysql是基本的数据库、CK、kylin等 Analyze:数据质检结果量化及可视化展示 阅读全文
posted @ 2022-05-23 20:56 Kotlin 阅读(2240) 评论(0) 推荐(0) 编辑
摘要:一:di表、ds表 di表多用于事实表,例如:从数据库抽取的交易记录表,购买详单表等 实现逻辑较为简单,一般直接ETL即可。 ds表一般就是简单汇聚,例如:用户每天使用的pkg的数量表,一般直接group by 就行。 二:dd表,全量表 dd表多用于记录每日的全量状态表例如:用户账号密码表、用户通 阅读全文
posted @ 2022-05-05 13:15 Kotlin 阅读(694) 评论(0) 推荐(0) 编辑

Live2D
点击右上角即可分享
微信分享提示
西雅图
13:14发布
西雅图
13:14发布
4°
东风
3级
空气质量
相对湿度
92%
今天
多云
3°/15°
周四
4°/15°
周五
4°/14°