关于某些系统统计查询等业务进行大数据量的测试

    大数据量测试分为两种:一种是针对某些系统存储、传输、统计查询等业务进行大数据量的测试;另一种是与并发测试相结合的极限状态下的综合数据测试。如专项的大数据量测试主要针对前者,后者尽量放在并发测试中。此外,也可以把大数据量测试分为“运行时大数据量测试”与“历史大数据量测试”来进行测试用例设计。

     对于第一种,在前段时间的所测的项目中,是个典型的例子。所采用的数据库是mysql,数据量是相当的大,一个查询的业务操作涉及的表很多,各种join,各种where条件。系统在手工测试的情况下,手动查询一个操作都在8秒左右。在并发的情况下更是糟糕。后台CPU占用资源相当的高,一个操作事务的响应时间最长的达到30秒以上。优化SQL语句能够达到一定的效果,但不是那么明显。

      对于大数据量的统计分析都不应实时查询数据库,这样效率很低,一般的情况是通过后台程序提前查询出数据,如:可通过触发器,在数据变化时查询出统计结果,然后在统计分析时直接取到这个结果就ok,也可以通过视图的方式。 然后,对于数据量到千万级别可以考虑分区,按分区进行统计,减少单表负载。

posted on 2013-05-20 14:06  淘果果  阅读(289)  评论(0编辑  收藏  举报

导航