数仓分层的理解
------------恢复内容开始------------
一、各个层作用
ODS:直接加载的是采集到的原始数据,数据保存原貌不做处理,就一个字段(一行就是一个日志字符串),使用天作为分区表,一般为json数据
DWD:对ods的数据进行展开
例如:如果采集的日志分类型的,可以根据事件的类型分为多个表
电商的比如:点赞、启动、评论、点击、广告、消息通知等事件
my公司的:以行业类型分割为各个阵地表,对json数据进行解析,获取简历、滴滴行程单、邮件落款、http等数据
DWS: (数据服务层): 基于ADS需要统计的主题,创建宽表
ADS: (应用数据层): 基于DWS的宽表,计算出结果
二、命名规范
ODS层命名为ods
DWD层命名为dwd
DWS层命名为dws
ADS层命名为ads
临时表数据库命名为xxx_tmp
备份数据数据库命名为xxx_bak
三、数据集市是数据仓库的子集
数据集市面向企业级,数据集市面向部门(比如销售部,相对更少的主题和分层)
------------恢复内容结束------------