数据仓库的概念（一）

1.什么是数据仓库？

数据仓库，英文名称Data Warehouse，简写为DW。数据仓库顾名思义，是一个很大的数据存储集合。

出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。

 

 

2.数据仓库有什么用？

数据仓库技术降低了企业获取信息的代价。

数据仓库为许多其他形式的信息处理提供了理想的基础。

 

3.数据仓库解决什么问题

1、将各种数据源整合到一起统一数据中心，解决数据壁垒。 <仓库的集成性特点>

2、脏数据清洗，简化业务复杂结构数据。

3、规范表、字段名称，统一字段数据格式，完善注释内容。

4、保留历史变更数据，提供对细节变化分析支持。

5、生产适合OLAP的大宽表，方便用户多维度快速分析。 <仓库的主题性特点>

6、数据质量的保证和指标口径的一致性

 

4.数据仓库的特点

1.主题性

不同于传统数据库对应于某一个或多个项目，数据仓库根据使用者实际需求，将不同数据源的数据在一个较高的抽象层次上做整合，所有数据都围绕某一主题来组织。

这里的主题怎么来理解呢？比如对于滴滴出行，“司机行为分析”就是一个主题，对于链家网，“成交分析”就是一个主题。

2.集成性

数据仓库中存储的数据是来源于多个数据源的集成，原始数据来自不同的数据源，存储方式各不相同。要整合成为最终的数据集合，需要从数据源经过一系列抽取、清洗、转换的过程。

3.稳定性

数据仓库中保存的数据是一系列历史快照，不允许被修改。用户只能通过分析工具进行查询和分析。

4.时变性

数据仓库会定期接收新的集成数据，反应出最新的数据变化。这和特点并不矛盾。

 

补充：集成性中数据源经过一系列抽取、清洗、转换的过程称为ETL

ETL的英文全称是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程：

1.Extract，数据抽取，也就是把数据从数据源读出来。

2.Transform，数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包含数据清洗，清洗掉噪音数据。

3.Load  数据加载，把处理后的数据加载到目标处，比如数据仓库。

 

 

 

 

 

 

5.数据库和数据仓库区别

数据库 Database (Oracle, Mysql, PostgreSQL)主要用于事务处理，数据仓库 Datawarehouse (Amazon Redshift, Hive)主要用于数据分析。

数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。

数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

 

举个最常见的例子，拿电商行业来说好了。

基本每家电商公司都会经历，从只需要业务数据库到要数据仓库的阶段。

• 电商早期启动非常容易，入行门槛低。找个外包团队，做了一个可以下单的网页前端 + 几台服务器 + 一个MySQL，就能开门迎客了。这好比手工作坊时期。

 

• 第二阶段，流量来了，客户和订单都多起来了，普通查询已经有压力了，这个时候就需要升级架构变成多台服务器和多个业务数据库（量大+分库分表），这个阶段的业务数字和指标还可以勉强从业务数据库里查询。初步进入工业化。

 

• 第三个阶段，一般需要 3-5 年左右的时间，随着业务指数级的增长，数据量的会陡增，公司角色也开始多了起来，开始有了 CEO、CMO、CIO，大家需要面临的问题越来越复杂，越来越深入。高管们关心的问题，从最初非常粗放的：“昨天的收入是多少”、“上个月的 PV、UV 是多少”，逐渐演化到非常精细化和具体的用户的集群分析，特定用户在某种使用场景中，例如“20~30岁女性用户在过去五年的第一季度化妆品类商品的购买行为与公司进行的促销活动方案之间的关系”。

 

这类非常具体，且能够对公司决策起到关键性作用的问题，基本很难从业务数据库从调取出来。原因在于：

   1.业务数据库中的数据结构是为了完成交易而设计的，不是为了而查询和分析的便利设计的。

   2.业务数据库大多是读写优化的，即又要读（查看商品信息），也要写（产生订单，完成支付）。因此对于大量数据的读（查询指标，一般是复杂的只读类型查询）是支持不足的。

而怎么解决这个问题，此时我们就需要建立一个数据仓库了，公司也算开始进入信息化阶段了。数据仓库的作用在于：

   3.数据结构为了分析和查询的便利；

   4.只读优化的数据库，即不需要它写入速度多么快，只要做大量数据的复杂查询的速度足够快就行了。

那么在这里前一种业务数据库（读写都优化）的是业务性数据库，后一种是分析性数据库，即数据仓库。

 

最后总结一下：

数据库 比较流行的有：MySQL, Oracle, SqlServer等

数据仓库 比较流行的有：AWS Redshift, Greenplum, Hive等

 

参考：

https://www.zhihu.com/question/20623931/answer/139842331

https://blog.csdn.net/bjweimengshu/article/details/79256504