|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&PB级数仓.V01|——|PB数仓.v01|数据仓库|项目背景|

一、项目背景

### --- 项目背景

~~~     人类正从IT时代走向DT(Data Technology)时代。
~~~     在DT时代，人们比以往任何时候更能收集到更丰富的数据。
~~~     IDC 的报告显示：预计到2020年，全球数据总量将超过40ZB（相当于40 万亿GB），
~~~     这一数据量是2011年的22倍。正在呈“爆炸式”增长的数据，其潜在的巨大价值有待发掘。
~~~     如果不能对这些数据进行有序、有结构地分类组织和存储，
~~~     不能有效利用并发掘它，继而产生价值，那么它同时也成为一场“灾难”。
~~~     无序、无结构的数据犹如堆积如山的垃圾，给企业带来的是令人咋舌的高额成本。
~~~     日益丰富的业态，也带来了各种各样、纷繁复杂的数据需求。 
~~~     如何有效地满足企业决策层、管理层、员工、商家、合作伙伴等多样化的需求，
~~~     提高他们对数据使用的满意度，是数据服务和数据产品需要面对的挑战。

~~~     如何建设高效的数据模型和体系，使数据易用，避免重复建设和数据不一致性，保证数据的规范性；
~~~     如何提供高效易用的数据开发工具；
~~~     如何做好数据质量保障；
~~~     如何有效管理和控制日益增长的存储和计算消耗，保证数据服务的稳定，保证其性能；

二、大数据系统要求

### --- 这些都给大数据系统的建设提出了更多的要求。

~~~     这里介绍的电商离线数据仓库项目，正是为了满足不断变化的业务需求，
~~~     实现系统的高度扩展性、灵活性以及数据展现的高性能而设计的。
~~~     整个项目的讲解分为以下几个部分：

~~~     # 上半部分

~~~     数据仓库理论
~~~     电商离线数据仓库设计
~~~     会员活跃度分析
~~~     广告分析

~~~     # 下半部分

~~~     核心交易分析
~~~     任务调度
~~~     血缘关系和数据管理
~~~     数据质量监控
~~~     即席查询

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

——W.S.Landor