从数据仓库到数据湖—浅谈数据架构演进

文章目录

• 1、数据仓库是什么
• 2、数据建模
• • 雪花模型
  • 星型模型
  • 全量数据、增量数据
• 3、传统数据仓库及代表产品
• 4、大数据架构下的数据仓库
• • lamda架构
  • kappa架构
• 5、数据湖是什么？
• 6、数据湖、数据仓库有何区别
• 7、数据湖应用场景有哪些
• 8、参考材料
• • 从数据仓库到数据湖——浅谈数据架构演进
  • martin-flower-about-Datalake
  • 数据仓库的架构与设计
  • etl-开发过程介绍

数据库–>数据仓库–>数据湖的架构演变，反映的是数据需求变更
了解最近技术发展动态，记录一下相关知识点，跟上技术发展的步伐。

• 上半年参加系统分析师考试，论文部分有个论题 是关于AIOPS的。我在想实际工作中，我们连DEVOPS流程还没做好呢，AIOPS已经在一些大公司实施了。
• 刚刚过去的周六，参加系统架构设计师考试，论文部分又出现了数据湖的应用实践，数据湖与数据仓库的差异性有哪些？新的概念不断的冒出，基础知识，历史渊源做一个整理记录。

1、数据仓库是什么

“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.”
—W. H. Inmon

数据仓库和数据库的区别就是OLAP和OLTP的区别。
数据库支持是OLTP，数据仓库支持的是OLAP

数据仓库一般基于数据库实现，数据仓库可以是基于关系数据库实现的称为ROLAP，数据仓库也可以是基于多维数据结构实现的为MOLAP

2、数据建模

数据仓库最为核心的内容分类两部分：

• 基于关系数据库的多维建模（RDBMS-based dimensional modeling）
  建模方法论-结合RDBMS的范式理论，建模过程中涉及的几个概念：

雪花模型

星型模型

全量数据、增量数据

• 解决数据存储的拉链设计模式
• 基于数据立方体的OLAP查询（cube-based OLAP）

3、传统数据仓库及代表产品

4、大数据架构下的数据仓库

lamda架构

kappa架构

5、数据湖是什么？

6、数据湖、数据仓库有何区别

7、数据湖应用场景有哪些

8、参考材料

从数据仓库到数据湖——浅谈数据架构演进

martin-flower-about-Datalake

数据仓库的架构与设计

etl-开发过程介绍