使用全量模拟增量

如果有这么一类业务数据源:数据源本向不支持增量,也就是说只有全量;业务数据存在分期,并且当期以前的数据都不能再增加、删除、修改,这类数据可以使用全量来模拟增量。具体做法是:将当期之前的所有期使用全量抽上来,该全量信息包的数据选择Data Selection为小于当期的所有期的数据;然后再创建一个全量信息包,该信息包的数据选择Data Selection为当期时间(并且以后在运行时,都动态的取当期为选择条件值),再使用该信息包抽数据之前,删除掉DSO或Cube(如果Request已被压缩,则不能删除掉了,最好数据抽上来前先经过DSO)当前的数据之后,再存入。这样就可以通过带筛选条件的全量信息包来模拟增量抽取,只是不是很完美,因为每次抽取都是当期的全量数据,但相对于将所有期抽上来数据量少得多了,但相对于真正增量抽取来说,当期又有部分数据抽取是多余的,所以说不是很完美
 
使用带条件的全量信息包来模拟增量的前提是:该数据源不支持增量;业务数据是分期的,且当期之前的所有期的数据不会再发生变化;使用带Data Selection将当前以前的所有历史期数据抽取上来,不能包括当期的;在抽取当前数据时,需要先删除掉DSO或Cube(如果Request已被压缩,则不能删除掉了,最好数据抽上来前先经过DSO)当前的数据之后,再抽取当期数据
 
2da4c0ec-e1c7-4a64-b975-d9a0e02691a2
4a3ee678-9e78-40af-a28d-d0ed88209c79
95b60ca3-d24c-46e0-a87d-89f5bec44477
posted @ 2015-02-22 09:45  江正军  阅读(1144)  评论(0编辑  收藏  举报