数仓-数据层的具体实现
原作者https://blog.csdn.net/qq_37312857/article/details/123322490
.数据源层ODS
数据源层主要将各个业务数据导入到大数据平台,作为业务数据的快照基础
.数据明细层DW
.事实表的每行对应一个度量,每行中的数据是一个特定级别的细节数据,称为粒度,维度建模的核心原则之一是同一事实表中所有度量必须具有相同的粒度,这样能确保不会出现重复计算度量的问题;
.维度表一般都是单一主键,少数是联合主键,维度表确保不要出现重复数据,否则与事实表关联会出现数据发散问题;
.有时候往往不能确定该列数据是事实还是维度属性,记住最实用的事实就是数值属性和可加类事实;如果该列包含多个值并作为计算参与者的度量,那该列就是事实,如果该列是对具体值的描述,是一个文本或者常量,某一约束和行标识的参与者,此时该属性往往是维度属性;但是还需要结合业务进行最终判断是维度还是事实;
.数据轻度汇总层DM
.该层命名为轻度汇总层,代表该层已经开始对数据进行汇总,但不是完全汇总,只是对相同粒度的数据进行关联汇总,不同粒度但是有关系的数据也可以进行汇总,前提是通过聚合等操作使粒度统一再进行关联;
.数据应用层APP
.数据应用层就是直接提供给用户使用的,数仓到此基本建设完毕,接下来就根据需求进行不同的取数,如直接进行报表展示,或提供给数据分析的同事所需数据,或其他业务支撑;
.数据仓库整体构建流程
作者:M_Fight๑҉
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· 【.NET】调用本地 Deepseek 模型
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库