从数据仓库到数据湖—浅谈数据架构演进
文章目录
数据库–>数据仓库–>数据湖的架构演变，反映的是数据需求变更
了解最近技术发展动态，记录一下相关知识点，跟上技术发展的步伐。
- 上半年参加系统分析师考试，论文部分有个论题 是关于AIOPS的。我在想实际工作中，我们连DEVOPS流程还没做好呢，AIOPS已经在一些大公司实施了。
- 刚刚过去的周六，参加系统架构设计师考试，论文部分又出现了数据湖的应用实践，数据湖与数据仓库的差异性有哪些？新的概念不断的冒出，基础知识，历史渊源做一个整理记录。
1、数据仓库是什么
“A data warehouseis a subject-oriented, integrated, time-variant, and nonvolatile collection ofdata in support of management’s decision-making process.”
—W. H. Inmon
数据仓库和数据库的区别就是OLAP和OLTP的区别。
数据库支持是OLTP，数据仓库支持的是OLAP
数据仓库一般基于数据库实现，数据仓库可以是基于关系数据库实现的称为ROLAP，数据仓库也可以是基于多维数据结构实现的为MOLAP
2、数据建模
数据仓库最为核心的内容分类两部分：
- 基于关系数据库的多维建模（RDBMS-based dimensional modeling）
建模方法论-结合RDBMS的范式理论，建模过程中涉及的几个概念：
雪花模型
星型模型
全量数据、增量数据
- 解决数据存储的拉链设计模式
- 基于数据立方体的OLAP查询（cube-based OLAP）
3、传统数据仓库及代表产品
4、大数据架构下的数据仓库
lamda架构
kappa架构
5、数据湖是什么？
6、数据湖、数据仓库有何区别
7、数据湖应用场景有哪些
8、参考材料
从数据仓库到数据湖——浅谈数据架构演进
martin-flower-about-Datalake
数据仓库的架构与设计
etl-开发过程介绍
posted on 2019-11-12 10:16 coding-now 阅读(134) 评论(0) 编辑 收藏 举报
