数据库插入数据时间比较
时间单位ms
200000数据
一个一个写入文件
所耗时间
70769
所耗内存
63963136(63M)
一次写入文件
所耗时间
724
所耗内存
190840832(190M)
时间缩小100倍,内存多用了120M
此意为比较io耗时
想要提高存取速度需减少io次数
往数据库里面写入10000条数据
直接插入
373514
每1000条插入
176869
使用LOAD DATA LOCAL INFILE 1400万数据
453088
对1400万数据统计条数
12249
查询耗时
创建索引之前
搜索内容 14000000 http://farm4.static.flickr.com/3564/3297734409_74a4e735d5.jpg
所耗时间
20011
创建索引之后
搜索内容 14000000 http://farm4.static.flickr.com/3564/3297734409_74a4e735d5.jpg
所耗时间
268
易知索引对查询速度有很大提高,而数据库对比文件查找又有很大的提高
文件存储数据是以换行符分隔每条数据的,要查找下一条数据需要逐一检测每个字符
数据库每个字段大小一样,按页查找的时候只需要比较相对应的位置,访问下一条只需要加上特定长度即可
创建索引为什么快呢? 索引采用B树或其变种B+树 参见http://blog.csdn.net/yan456jie/article/details/42922479
200000数据
一个一个写入文件
所耗时间
70769
所耗内存
63963136(63M)
一次写入文件
所耗时间
724
所耗内存
190840832(190M)
时间缩小100倍,内存多用了120M
此意为比较io耗时
想要提高存取速度需减少io次数
往数据库里面写入10000条数据
直接插入
373514
每1000条插入
176869
使用LOAD DATA LOCAL INFILE 1400万数据
453088
对1400万数据统计条数
12249
查询耗时
创建索引之前
搜索内容 14000000 http://farm4.static.flickr.com/3564/3297734409_74a4e735d5.jpg
所耗时间
20011
创建索引之后
搜索内容 14000000 http://farm4.static.flickr.com/3564/3297734409_74a4e735d5.jpg
所耗时间
268
易知索引对查询速度有很大提高,而数据库对比文件查找又有很大的提高
文件存储数据是以换行符分隔每条数据的,要查找下一条数据需要逐一检测每个字符
数据库每个字段大小一样,按页查找的时候只需要比较相对应的位置,访问下一条只需要加上特定长度即可
创建索引为什么快呢? 索引采用B树或其变种B+树 参见http://blog.csdn.net/yan456jie/article/details/42922479