专注于中国的商业智能

导航

KDT#79 有关维度表的大小

在很多实施数据仓库的企业里,客户和产品都会有上百万条记录。数据量过大,导致数据的加载和查询都会面临很大的问题。不过处理器和内存技术的大幅度进步很大的解决了这个问题。那么,现在对我们来说,多大的维度表是比较危险的呢?这时该如何处理呢?

对于一个大型的银行来说,可能会有3千万个帐户,如果每个帐户有20个字段来进行描述,每个字段为10个字节。这样,帐户维度表就会有6GB的数据。

3千万条记录的维度表对于MOLAP来说是很危险的事,如果处理缓慢变化维的策略中有TYPE 1TYPE 3,情况会变得更为麻烦。每次数据变化刷新Cube会耗掉大量的资源。

3千万条记录的维度表对于使用关系数据库的ROLAPTYPE 2的处理策略会带来很大的麻烦。维度表中已经保存了太多的记录,每次变化新增记录会使维度表变得更为可怕,这时需要将常变化的列分离到微型维度表中。

总的来说,当维度表中的记录数到达百万或千万时,维度的处理变得比较危险,这时如果处理不当,数据仓库的性能就会出现问题。

posted on 2010-08-05 14:37  李梦蛟  阅读(381)  评论(2编辑  收藏  举报