摘要:
DWD(Data Warehouse Detail):数据明细层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(取出空值、脏数据、超过极限范围的数据)。 DWD层的数据来源于ODS原始数据层,在原始数据层的Hive表里,只有一个字段,存储了原始的一条条日志信息,下面以事件(如商品点击事件,展示 阅读全文
摘要:
ODS(Operational Data Store):原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。 在ODS一般需要2个重要的步骤,示例如下: 1.建立ODS层的Hive表。 drop table if exists ods_start_log; CREATE EXTE 阅读全文