数据仓库架构分层设计
数据仓库架构分层设计包括 STG(数据缓冲层)、ODS(数据操作层)、DWD(数据明细层)、DWS(主题汇总层)和 ADM(数据应用层)。
1、STG 层
主要完成业务系统结构化数据引入到数据中台,保留业务系统原始数据,缓冲层设计主要保持和数据源的一致性,不做任何类型转换和数据加工处理,为 ODS 层提供基础数据服务。
2、ODS 层
对 STG 层数据进行类型转换或增量合并处理,得到的全量明细数据,为 DWD、DWS 和 ADM 层提供数据服务。
3、DWD 层
明细宽表层,用于存放完整详细历史数据。面向业务过程建模,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。其设计目标是为后续的 Data Warehouse Model 提供灵活性和扩展性的基础,同时可以在 DW 层无法支持需求时直接为应用层提供数据。DWD 层由于与业务系统耦合程度较高,其稳定性会受到业务系统的影响。
4、DWS 层
存放详细历史数据的公共汇总数据层,面向分析主题建模。DWS 是核心数据层,是为应用层提供足够的灵活性和扩展性的基础。
5、ADM 层
提供直接面向业务或应用的数据,主要对个性化指标数据进行架构处理,如无公用性或复杂性(如指数型、比值型、排名型等指标数据)的指标数据加工。同时为方便实现数据应用、数据消费的诉求,进行面向应用逻辑的数据组装(如打宽表集市、横表转纵表、趋势指标串等)。
摘抄自网络,便于检索查找。