最近在改进一个老系统查询效率,数据量也不是很大,整个数据库就3-5G,单表记录1000W差不多,在查

询的时候碰到了查询超时的问题,比如查询一个月的记录,大约100W-500W,做过信息系统的大概都知道

,查询这样的数据量,不是超时就是要等了几十秒到几分钟,做起统计来,就更慢了。前段时间一直在

优化速度上考虑,将执行脚本改为存储过程、制定合适的索引,改进SQL条件。速度虽然有了很大的提升

,但还是不尽人意,为什么呢??无论怎么优化,几百万的数据量放在那里,你还是等段时间才能出结

果,而且还是会有出现超时的可能。因此我就换了一个角度:我为什么要让他们查询到这么多的记录,

并把这些记录都放在一个界面上,这么多记录他们看的过来么?想到这里,我意识到可能在设计和解决

这个问题的时候走了极端,应该跳出来思考,不过还不能系统的解决!我经验不够,希望各位指点一二

。以下是我当前的思想:
回到信息系统的最初设计原理,首先是录入数据,然后查询数据,然后有报表、数据导出,在数据量小

的情况下,这个过程是很合适的。但数据量大了以后就出现一个问题,首先是报表,一个有100W行数据

的报表需要打印多少页有算过么??最少是1万,这样就不可能被打印,从而失去了意义,接下来是导出

,数据的导出是有意义的,也是必须的。一般信息的导出都是本地查询后保存的结果,导出的格式也有

相应的设置。如果我不容许用户查询这么多数据,那就很有可能限制了数据导出的使用,这样的限制可

能会带来致命的后果。

posted on 2008-05-26 10:28  小猴子  阅读(210)  评论(0编辑  收藏  举报