关于顺序磁盘IO比内存随机IO快的讨论

这个问题来源于我书中引用的一幅图：

我们从图中明显可以看某性能测试的结果表明普通机械磁盘的顺序I/O性能指标是53.2M values/s，SSD的顺序I/O性能指标是42.2M values/s，而内存的随机I/O性能指标是36.7M values/s。虽然图中没有给出values的具体含义，但既然使用了相同的单位，应该是它们是可以比较的。由此似乎可以得出结论：磁盘的顺序I/O性能要强于内存的随机I/O性能。

当初引入这幅图的主要目的是想说明Kafka顺序访问磁盘（特别是顺序写入）的性能并不像想象中的那么差。现在看来，这幅图还是有一些问题的，里面具体的数值也值得推敲。

第一就是单位不明确。一般这种测试常见的统计单位应该是MB/s，即磁盘或内存的吞吐量（TPS）或带宽（Bandwidth），但如果这里的values指的就是MB，显然数值又太小了，所以我目前搞不清楚这个values指代的是什么。这是第一个问题。

第二个问题就在于没有分开讨论读和写。很多磁盘的读写TPS差异很大，特别是对于随机I/O来说，不同块大小（block size）的随机IO相差巨大。这张图里面只是笼统地给出了磁盘的顺序I/O和随机I/O性能，没有显式区分出读写来。这是第二个问题。

第三个问题就在于图中的数值与我们平时的印象是矛盾的。一般情况下，我们会认为内存的TPS应该是很高的。即使是随机I/O也不应该比磁盘的要差，但这张图清晰地表明它真的就是差。特别是今天有人拿实际的测试结果反驳了图中的结论。下面我们着重探讨一下第三个问题。

 

首先是实际测试数据：内存使用的是DDR3的三星内存，TPS测试结果为2500MB/s，但没有说清楚是读TPS还是写TPS，也没有提及使用的chunk大小是多少，更没有说是随机IO访问还是顺序IO访问。不过我们姑且认为是随机IO吧，毕竟我们要PK的就是内存的随机IO。磁盘这边使用的是SSD，经测试最大的顺序读写IO大约是63MB/s，同样没有说到底是读IO还是写IO。测试结果说明SSD磁盘顺序IO TPS远逊于内存IO TPS。那么到底哪个是对的呢？为什么图中显示磁盘顺序IO是能胜过内存随机IO的呢？

 

针对这个矛盾之处，我个人的看法是这里面存在着田忌赛马的情形，也就是说图中用于比较的SSD和内存应该不是同一个等级的，有可能找了一个很好的SSD去与一个普通的内存条进行比较。拿上面实际的例子而言DDR3的三星内存TPS为2500MB/s，但这不算什么太好的成绩。还存在很多更好的内存产品远不止2500MB/s的吞吐量，比如Corsair Vengeance DDR3宣称能够达到5000+MB/s的随机IO TPS（它是以2MB chunk做的测试）。具体的数据来源详见：https://www.storagereview.com/corsair_vengeance_ddr3_ram_disk_review

至于SSD，顺序IO TPS超过2500MB/s的也有，比如这款基于MLC的Micron P420m SSD就宣称其顺序IO TPS能到3300MB/s。具体的数据来源详见：https://www.storagereview.com/micron_p420m_enterprise_pcie_ssd_review

那么现在如果用Micron P420m SSD和上面的三星内存比，其顺序IO的TPS就超过内存的随机IO TPS。这样看来，这不就是田忌赛马吗？用一个非常好的磁盘去PK一个普通的内存，结果就很可能是图中的那个样子。所以，个人认为不用太纠结图中的数据，只需要了解磁盘顺序读写性能很好或至少不差这个事实就好了：） 

 

另外我感觉这张图还有其他不太合理的地方，比如对于SSD而言，顺序IO性能几乎是随机IO的40倍。的确，随机IO是要慢于顺序IO的，特别是对于写入而言，但在SSD中这不总是成立的。

如果IO size很小或者说写入数据很小（比如小于32MB），随机写入自然是要慢于顺序写入；但当IO size增加到某个程度后（比如和clustered block一样大或是其整数倍），那么随机写和顺序写的表现是差不多的，因为不再需要做过多的拷贝擦除，而且SSD内部的并行机制会开始逐渐起作用，抵消随机写和顺序写之间的差异。从这个角度来说，我觉得图中的两组数值对比过于悬殊了，似乎也有不真实的地方。

 

总之，我对这张图的结论是图中的数字是有一些水分的，至少没有给出完整的测试说明，缺乏必要的事实基础，但图要呈现的结论依然是成立的，即在某种程度下，磁盘顺序I/O访问（特别是写操作）是能够匹敌内存的随机I/O访问性能的。