前段时间公司有个项目需要从文本文件导入数据,文本文件有5600个,导入之后统计有98w多. 由于数据比较复杂,分析又比较麻烦,因此将文件分段分块存入到数据库,结果一些中间状态的数据高达1100w,导致查询数据比较慢,因此考虑将这中间数据表拆成两个:一个主要存放数据,一个存放查询所用到的字段.而这个两个表用到的BlockID字段来关联.结果存放数据的表有700w条数据,而存放查询的表有400w数据.经过测试,查询数据快了不少,当然查询条件字段上都用了索引.
只不过当时没有把相应的数据记录下来.那时都是用sql profile来监视
同理,当数据量大的时候分成两个数据库也是个不错的主意
只不过当时没有把相应的数据记录下来.那时都是用sql profile来监视
同理,当数据量大的时候分成两个数据库也是个不错的主意
