使用SSIS过程中碰到的问题
最近做的这个项目,由于表数据量都很大,碰到不少疑难杂症,今天暂时总结几个。
1。使用SSIS新建包的过程中,拖了一个数据源到数据流面板,在数据源里面指定一条sql语句来取数(select distinct * from publishbill),而这张表的数据量非常大的时候,那么这个时候就很容易假死。我等了几个小时都不动,只有把VS关掉,重新来。我找到的解决方法是,另外建一个和这个数据源库结构一样的数据库,把数据源连接暂时指向这个,那么包就可以建起来了,然后使用包配置,包做好以后,使用执行包工具来执行包,指定配置文件,在配置文件里面指向正确的数据库连接,这样就可以了。但是问题是这样很难调试。
2。在使用渐变维度的过程中,维度表非常大,千万级别的数据,也出现同样的问题,假死,解决方法同上。
3。在一张很大的数据表的时候,我看数据都已经导完了,但是差不多还等了一天,还是没有完成,于是我就做了一个非常错误的决定,把导入中止了。这下惨了,数据库表也打不开,删也删不掉,后来经过咨询,得知这是数据在回滚,表不能做任何操作,只得等。郁闷,等了足足一天,它才回滚完毕。以后各位朋友碰到这个问题可要小心处理了,不要随便中止导入,那样会很惨的。
4。在SSIS转换数据的时候,SSIS会把从数据源取得的数据缓存到临时数据库里面去,这样会导致临时数据库会变的越来越打,可怜我原来数据库是装在C盘的,这下又死的很惨了,导了好几天的数据,眼看就要完了,磁盘空间不足,又郁闷了半天,只得停掉,把数据库撞到D盘,继续导入。