数仓架构
date: 2020-12-13 11:49:06
updated: 2020-12-16 17:16:14
数仓架构
1. 数据仓库
特点：
- 面向主题
电商，流量，交易。。。
- 集成
各个数据源：数据库，日志，爬虫。。。
- 相对稳定
主要用来查询，不是用来删除和修改
- 反映历史变化
N年的记录，每个月、每个季度、每年的汇总记录
- 管理决策
分析数据 -> 指标
数据湖指的是所有的原始数据，数据仓库指经过处理的原始数据（四层）
2. 数据库和数据仓库的区别
数据库： 联机事务处理和查询处理 OLTP
传统的数据仓库：主要是查询，用结果来支撑决策。联机分析处理 OLAP
大数据数据仓库：基于Hadoop的海量 分布式数据仓库
实时仓库：Flink + Kafka/Redis/HBase
3. 架构
lambda：实时+ 数仓
kappa：实时
批流一体
4. 数仓分层
4.1 分层
- ODS(Operation Data Store)：原始数据
- DWD(Data Warehouse Detail)：对原始数据进行清洗（去除空值、脏数据、超过极限范围的数据）、脱敏等，保存明细数据
- 选择业务过程 -> 声明粒度 -> 确认维度 —> 确认事实
- DWS(Data Warehouse Service)：按天进行轻度汇总，比如一个用户一天下单次数
- DWT(Data Warehouse Topic)：对数据进行累计汇总，比如一个用户从注册那天开始至今一共下了多少次单
- ADS(Application Data Store)：为各种统计报表提供数据
第3、4层不一定都有，甚至都没有，直接从第2层经过操作到第5层，中间没有保留中间表
并不能保证一定按照这个分层来进行。如果说过滤条件也比较少，甚至可以直接从ODS进行过滤后直接返回给用户。
4.2 为什么要分层
- 把复杂问题简单化：拆解每一个需求，方便定位问题
- 减少重复开发：提供模型的复用性
- 隔离原始数据：使真实数据和汇总数据解耦
5. 数据集市和数据仓库的区别
数据集市是一个微型的数据仓库，通常有更少的数据，更少的主题区域，以及更少的历史数据，是部门级的。
数据仓库是企业级的。
6. 数据理论
6.1 范式
- 定义：范式可以理解为设计一张数据表的表结构
- 优点：降低数据的冗余性；数据保存多份，一次修改，需要修改多个表，很难保证数据的一致性
- 缺点：获取数据的时候，需要通过Join连接来获取最后的数据
- 分类：
- 第一范式：属性不可分割
- 第二范式：不能存在非主键字段部分函数依赖主键字段，可以消除部分数据冗余
- 第三范式：不能存在非主键字段传递函数依赖主键字段
- BCNF、第四范式、第五范式。。。
满足的范式越多，数据冗余性越低，但是表会越散，影响查询效率
- 函数依赖：完全函数依赖、部分函数依赖、传递函数依赖
6.2 OLTP 和 OLAP
- OLTP：传统数据库的主要应用，主要是基本的、日常的事务处理，比如银行交易
- OLAP：数据仓库的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观的查询结果
OLTP 一般是关系建模方式，OLAP 一般是维度建模方式
6.3 关系建模和维度建模
关系建模符合3NF，表松散，表的数据量多，但是数据冗余性低。由于数据分布在很多的表中，这些数据可以更为灵活地被应用，功能性更强。
维度建模：基于维度和度量。维度就是事实，相当于用户进行的业务操作
6.4 维度表和事实表
维度表：一般是对事实的描述信息，例如：用户、商品、日期、地区等
特征：维度表的范围很宽（具有多个属性，列比较多）；跟事实表相比，行数较小；内容比较固定，比如编码表
事实表：对应着业务事件，每一个业务都应该有一个事实表。事实对应了业务事件中的度量值。
特征：行数很多；内容相对的窄，列数较少（维度外键 + 度量值）；经常发生变化
事实表又分为如下三种：
- 事务型事实表
- 以每个事务或事件为单位，一旦插入就不会再作修改，更新方式就只能是增量方式
- 周期型快照事实表
- 不会保留所有数据，只保留固定时间间隔的数据
- 事务型事实表用来保存所有的数据。比如购物车数据，不需要记录每一次加减，只要汇总每一天最后的那个状态就行。
- 累积型快照事实表
- 用于跟踪业务事实的变化。
这三种像是针对关系型数据库如何设计表来说的，根据表类型的不同，来决定每天同步数据到数仓的方式是全量还是增量。
比如第一种因为只会新增数据，所以每天增量同步到数仓即可；第二种需要全量同步；第三种将新增变化数据同步之后，还需要再做一步整合。
事实表一般是动词，维度表一般是名词。
7. 星型模型、雪花模型、星座模型
雪花模型和星型模型的区别主要是在维度的层级，标准的星型模型维度只有一层，雪花模型可能会涉及多层。
多个事实表可能会使用相同的维度表，组合起来就是星座模型。
Q&A
数仓最重要的是什么？
数据的准确性。数仓最终是为了支撑决策，决策的前提要保证数据的准确性。
如何保证数据的准确性？
元数据的建设与管理是其中重要的一个环节。元数据建设的目标是打通数据接入到加工 ，再到数据消费整个链路，规范元数据体系与模型，提供统一的元数据服务出口，保障元数据产出的稳定性和质量。首先梳理清楚元仓底层数据，对元数据做分类，如计算元数据、存储元数据、质量元数据等，减少数据重复建设，保障数据的唯一性。
另外， 要丰富表和字段使用说明，方便使用和理解。根据元仓底层数据构建元仓中间层，建设元数据基础宽表，也就是元数据中间层，打通从数据产生到消费整个链路。
也可在粒度、规范等方面展开，见仁见智。
如何做数据治理？数据资产管理呢？
在明确数据治理是数据管理的一部分之后，下一个问题就是定义数据管理。治理相对容易界定，它是用来明确相关角色、工作责任和工作流程的，确保数据资产能长期有序地、可持续地得到管理。
而数据管理则是一个更为广泛的定义，它与任何时间采集和应用数据的可重复流程的方方面面都紧密相关。
其实在数仓的整个链路中数据治理的理念是渗入其中的，在ETL过程中开发人员会对数据清洗这其实就是治理的一部分，再加上后期数据资产的管理和落定都有数据治理的渗入。
如何控制数据质量？
1.数据质量保证原则：完整性，准确性，数据质量，及时性，一致性
2.数据质量方法：数据资产等级的划定
3.数据加工过程卡点校验
4.风险点监控：针对在线或者离线数据的监控
5.质量衡量：故障等级的划定以及数据质量的事件的记录
元数据的理解？元数据管理系统？
元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监 控数据仓库的数据状态及 ETL 的任务运行状态。
元数据有重要的应用价值，是数据管理、数据内容、数据应用的基础，在数据管理方面为集团数据提供在计算、存储、成本、质量、安全、模型等治理领域上的数据支持。
元数据管理系统： 首先梳理清楚元仓底层数据，对元数据做分类，如计算元数据、存储元数据、质量元数据等，减少数据重复建设，保障数据的唯一性。
另外， 要丰富表和字段使用说明，方便使用和理解。根据元仓底层数据构建元仓中间层，建设元数据基础宽表，也就是元数据中间层，打通从数据产生到消费整个链路
