摘要: DWD(Data Warehouse Detail):数据明细层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(取出空值、脏数据、超过极限范围的数据)。 DWD层的数据来源于ODS原始数据层,在原始数据层的Hive表里,只有一个字段,存储了原始的一条条日志信息,下面以事件(如商品点击事件,展示 阅读全文
posted @ 2020-06-25 23:35 地中有山 阅读(1649) 评论(0) 推荐(1) 编辑
摘要: ODS(Operational Data Store):原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。 在ODS一般需要2个重要的步骤,示例如下: 1.建立ODS层的Hive表。 drop table if exists ods_start_log; CREATE EXTE 阅读全文
posted @ 2020-06-25 13:20 地中有山 阅读(1963) 评论(0) 推荐(0) 编辑