1 2 Fork me on GitHub 6

HIVE数据仓库分层

从低往高层:

ODS>DWD,DWS>DM

ODS:Operation Data Store
原始数据,业务库数据,日志数据,mongodb等数据源,api抓取,gio

DWD(数据清洗/DWI) data warehouse detail
数据明细详情,去除空值,脏数据,超过极限范围的
明细解析

DWS(聚合) data warehouse Summary
轻度聚合对DWD

DM-应用层聚合,宽表 Application Data Store
做分析处理同步到RDS数据库里边

posted @ 2020-12-09 16:00  peng_li  阅读(765)  评论(0编辑  收藏  举报
1