数据库I/O读写速度

工作中遇到的一个实际问题。

问题如下:
长时间,大量插入数据的速度慢的问题。
7*24小时的不间断想数据库中插入数据,单表的插入数据量平均目前平均35条/秒。有

40多个单表表都需要插入。插入数据的同时还要对40多个单表进行更新和查询操作。
如此频繁的对数据库进行操作的情况下,数据库的速度已经不能满足我们的需求了。

经过了一系列的SQL文,内存设置,缓存设置之后还是无法满足。
最后经过在linux下top进行分析,发现原来是orcale的I/O读写速度问题。并且硬盘处

理速度不及时还导致CPU %WA等待。
经过统计情况如下:
插入量:40*35=1400条/秒
查询量:40*100=4000条/秒
更新量:40*10=400条/秒
删除量:1400*66%=900条/秒
每秒处理共约:6700条数据。
这样一个int占4个字节,一个double占8个字节,一个varchar(200)占200个字节.....
一条数据有 800~1400个字节 按照平均一条数据1024个字节来算,就是1条数据占用

1Kb的空间。
那么硬盘最少要有6700*1Kb =6.7M 的读写速度。本来我们用的硬盘是7200的,极限的

读写速度是30M-40M/秒左右,为什么6.7M左右就承受不住了呢?
经过分析认为,硬盘的测试速度只是单一的读写。但是在频繁的读写删除面前远远达不到那个速度(磁头不停的切换,扇区不停的反转)
注意:这里请不要长生误区:6.7M是每秒的读写速度,由于我做了优化每秒还会删除插入数据的66%,这样最后保存到磁盘的每秒只有400K左右。
一天40G的数据 平均每秒400多K。

 

解决方案:表分区 + 磁盘阵列 + RAID0. 理论上能提高几十倍甚至几百倍的速度。
               具体实现细节。。。略。。。。。。。

如果有人有兴趣知道可以留言探讨。

posted @ 2014-12-31 10:42  mooreliu  阅读(960)  评论(0编辑  收藏  举报