第三节:数据仓库与ODS

1：ods产生背景
 人们对数据的处理行为可以划分为操作型数据处理和分析型数据处理，操作型数据处理一般放在传统的数据库中进行，分析型数据
 处理则需要放在数据仓库中进行。但不是所有的数据处理都可以这样划分，换句话说，人们对数据的处理需求并不只有这两类，比
 如，有些操作型处理并不适合放在传统的数据库上完成，也有些分析型处理不适合在数据仓库中进行。这时候就需要第三种数据存
 储体系，操作数据存储（ODS）系统就因此产生。它的出现将DB~DW两层数据架构转变成DB~ODS~DW三层数据架构。
     什么是ODS？
 ODS是用于支持企业日常的，全局应用的数据集合。
2：ODS数据的基本特征
 a：面向主题的，进入ODS的数据是来源于各个操作型数据库以及其他外部数据源，数据进入ODS之前必须经过ETL过程
 b：集成的，ods的数据来源于各个操作型数据库，同时也会在数据清理加工后进行一定程度的综合。
 c：可更新的，可以联机修改，这一点区别于数据仓库
 d：当前或接近当前，“当前”指数据在存取时刻是最新的，“接近当前”是指存取的数据是最近一段时间得到的。
3：ODS的功能
 1）：实现企业级的olap操作
 传统的操作型数据库往往只存放企业某一类业务或者某一个部门的数据，因此无法面向企业全局数据的OLAP，而ODS可以实现，
 因为ODS是面向整个企业进行集成汇总的，克服了原来面向应用的操作型数据库数据分散的缺陷。
 2）：实现即时的olap操作
 在数据仓库上进行OLAP操作，往往由于数据量庞大而需要较长的时间，而在企业实际应用中，对于一些较低层次的决策，往往并
 不需要太多的历史数据，可能只需要参考当前的或者接近当前的数据就可以，并且要求具有较快的响应时间，因此数据仓库显然无法
 满足这样的需求，但是ODS可以实现。ODS中不仅有面向企业全局的细节数据和汇总数据，而且规模比数据仓库小，具有较强的
 实时响应能力。
 总结：ODS是一种数据存储系统，它将来自不同数据源的数据（各种操作型数据库，外部数据源等）通过ETL过程汇聚整合成面向
 主题的，集成的，企业全局的，一致的数据集合（主要是最新的或者最近的细节数据以及可能需要的汇总数据），用于满足企业
 准实时的OLAP操作和企业全局的OLAP操作，并为数据仓库提供集成后的数据，将数据仓库系统中的ETL过程下沉到ODS中完成
 以减轻数据仓库的压力。
4：DB~ODS~DW三层体系结构
 ODS和DW面向不同的用户，为不同的需求，因此都有不可替代的作用，两者相互结合，互相补充。
 ODS在三层体系结构中扮演者承上启下的作用
 一方面，ODS在原来独立的各个DB的基础上建立了一个一致的，企业全局的，面向主题的数据环境，使原有的DB系统得到改造。
 另一方面，ODS使DW卸去了数据集成，结构转换等一系列负担，对DW的数据追加通过ODS完成，大大简化了DW的数据传输接
 口和DW管理数据的复杂度。
 ODS系统建设，弥补了DB~DW两层体系结构的不足，但是ODS并不是必须的，当企业不需要操作型集成信息时，基于DB~DW
 的两层体系结构是较优秀的，如果需要，则DB~ODS~DW三层体系结构则是比较优秀的。
5：ODS与DW的区别

 ODS在三层体系结构中起到承上启下的作用。
 ODS的数据虽然具有DW中数据的面向主题，集成的特点，但是也有很多区别。
 1：存放数据的内容不同
 ODS中主要存放当前或者接近当前的数据，细节数据，可以进行联机更新
 DW中主要存放细节数据和历史数据，以及各种程度的综合数据，不能进行联机更新。
 ODS中也可以存放综合数据，但只有需要的时候生成。
 2：数据规模不同
 由于存放的数据内容不同，因此DW的数据规模远远超过ODS
 3：技术支持不同
 ODS需要支持面向记录的联机更新，并随时保证其数据与数据源中的数据一致。
 DW则需要支持ETL技术和数据快速存取技术。
 4：面向的需求不同
 ODS只要面向两个需求：一是用于满足企业进行全局应用的需要，即企业级的olap和即时的olap；二是向数据仓库
 提供一致的数据环境用于数据抽取。
 DW主要用于企业高层战略决策，供挖掘分析使用。
 5：使用者不同
 ODS主要使用者是企业中层管理人员，他们使用ods进行企业日常管理和控制。
 DW主要使用者是企业高层和分析人员。