数仓 分层架构

 

 

 

ods层：
数据来源及建模方式：各业务系统的源数据，物理模型与业务模型一致；
服务领域： 为其它逻辑层提供数据；
数据ETL过程描述：把业务数据抽取落地成文本文件，再装载到数据仓库ods层，不做清洗转化。
功能：
1）ods是数仓准备区
2）为dwd提供原始数据
3）减少对业务系统影响
建模方式及原则：
数据保留时间根据实现业务需求而定；
可以分表进行周期性存储，存储周期不长；
从业务系统以增量方式抽取加载到ods；
数据模型与粒度与业务系统一致（3NF）。

dwd层：
数据来源及建模方式：数据来自于ods层，是DW明细事实层，数据模型与ods层一致；
服务领域：为edw提供各主题业务明细数据；
数据ETL过程描述：根据ods增量数据和前一天DWD相关表进行merge生成全量数据，不做清洗转化，保留原始全量数据。
功能：
1）为DW层提供来源明细数据
2）为未来分析类需求的扩展提供历史数据支持。
建模方式及原则：
为支持数据重跑可额外增加数据业务日期字段；
可按天月年进行分表；


dw层：
数据来源及建模方式：数据来自dwd层，是DW事实层，采用维度建模，星型架构,这一层可细分为dwb与dws;
服务领域：为EDS提供各主题业务明细；
数据ETL过程描述：从dwd层进行轻度清洗，转化，汇总生成dw层数据，如字符合并，email,证件号，日期，手机号转换合并；按各个维度进行聚合汇总。


dm层：
数据来源及建模方式：数据来自dw层，采用维度建模，星型架构；
服务领域：数据挖掘，自定义查询，应用集市；
数据ETL过程描述：从dw层进行粗粒度聚合汇总，按业务需求对事实进行拉宽形成宽表。

st层：
数据来源及建模方式：数据来自dw层，采用维度建模，星型架构；
服务领域：前端报表展示，主题分析，kpi报表；
数据ETL过程描述：从dw层进行粗粒度聚合汇总，如按年、月、季、天对一些维度进行聚合生成业务需求的事实数据。