代码改变世界

ODS设计

2018-05-13 21:42  ssswy  阅读(441)  评论(0编辑  收藏  举报

1.数据调研

2.确定数据范围

需要把上端应用需求与ODS数据范围进行验证,以确保应用所需的数据都已经从业务系统中抽取出来,并且得到了很好的组织,以ER模型表示数据主题关系

3.根据数据范围进行进一步的数据分析和主题定义

把第一步生成的每个ER图中的实体进行分解,分解的结果仍以ER表示为佳

4.定义主题元素

 定义主题、粒度、维、度量、存储期限

 a.定义维的概念特性:
    维名称,名称应该能够清晰表示出这个维的业务含义。
    维成员,也就是这个维所代表的具体的数据,
    维层次,维成员之间的隶属与包含的层次关系,每个层次需要定义名称

     b.定义度量的概念特性:
    度量名称,名称应该能够清晰标书这个度量的业务含义

     c.定义主题的概念特性:
    主题名称和含义,说明该主题主要包含哪些数据,用于什么分析;

d.主题所包含的维和度量;
    主题的事实表,以及事实表的数据。

     e.定义粒度:
    主题中事实表的数据粒度说明,这种粒度可以通过对维的层次限制加以说明,也可以通过对事实表数据的业务细节程度进行说明。   

    f. 定义存储期限:
    主题中事实表中的数据存储周期。

5.迭代,归并维、度量的定义

具体的业务代码所形成的各个维、以及维成员等需要进一步进行归并,把概念统一的维定义成一个维,不允许同一个维存在不同的实体表示

6.物理实现

定义每个主题的数据抽取周期、抽取时间、抽取方式、数据接口,抽取流程和规则

 7.对ODS中的各个主题的事实数据进行时间上的汇总

按照时间维进行汇总,以实现初步的信息沉淀

8.按照业务逻辑的规则,对数据进行归并

9.把包含细节过多的交易记录进行拆分

10.汇总、再汇总