浅谈调优项目历史数据处理

在调优项目中，特别是针对数据量大并且需要新建模型的项目，对历史数据的处理需要重点关注。庞大的数据量对数据的历史数据上载到新模型产生的冲击要能提前预判到，因此前期的调研和方案的设计需要重点关注，细节的处理同样左右调优的质量。

1、使用组合模型（标准DSO+写优化DSO）

对于数据量庞大，并对数据需要进行多次调整的企业需求是，SAP标准Multiprovider+CUBE+DSO方法很难完全满足客户需求。例如，在保证历史数据的一致性的同时，还需要不定期调整和删除历史数据，同时随着历史数据不断增长，标准DSO的激活将带来极大的风险。智扬信达BI团队通过实践，建议在新建调优模型时，采用Multiprovider+CUBE+标准DSO+写优化DSO，针对数据的不同操作需求，放到不同类型的DSO中，最大化满足客户对数据的调整需求。

2、克服历史数据不合理汇总

历史数据的归档，若需要存放到标准DSO中，由于标准DSO为只能拥有16个主键，需要自定义主字段来唯一标识每一条记录，建议采用系统编号+时间来唯一标识。

3、request by request

用户在维护历史数据时，可能需要对某个请求删除并重新上数。为解决这一需求，在抽取历史数据时采取增量模式，并选中request by request方式，保证了DSO或CUBE中存放的历史数据与原数据源中抽数请求一一对应，便与维护和追踪。

4、DSO创建索引

DSO不能像CUBE一样创建聚集，并且DSO数据量庞大，因此需要在DSO中创建索引，来提升效率。索引的建立需要和业务需求关联。创建玩索引之后，需要对DSO进行激活，这步操作非常简单安全，激活即可。

5、创建跳转报表

若历史数据庞大，报表在出具汇总值时，需要在汇总CUBE上出报表，提升效率，当报表需要查看明细数据时，则需要跳转的到明细表，从明细DSO中取数。首先创建发送者（普通报表），其次创建接受方（明细报表）一般情况下，可以保持接受方的列结构与发送方一致。最后创建发送方与接受方关联，TCODE：RSBBS。