数据仓库分层
1. 分层目的
- 把复杂问题简单化,将复杂的任务分解成多层来完成,每一层只处理简单任务,方便定位问题。
- 减少重复开发,规范数据分层,通过中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。
- 隔离原始数据:不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。
2. 分层概述
- ODS层:原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理
- DWD层:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据)、维度退化脱敏等
- DWS层:以DWD为基础,按天进行轻度汇总。
- DWT层:以DWS为基础,按主题进行汇总
- ADS层:为各种报表提供数据
3. 举例
4. 参考
https://blog.csdn.net/weixin_42796403/article/details/112203116
https://blog.csdn.net/u010848845/article/details/109397681
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 零经验选手,Compose 一天开发一款小游戏!
· 因为Apifox不支持离线,我果断选择了Apipost!
· 通过 API 将Deepseek响应流式内容输出到前端