write 系统调用耗时长的原因
前一阵子公司一部门有人叫帮忙调查，说他们write系统调用基本上是个位数微秒就返回，或者说几十us，但偶尔出现几次write系统调用达到几百毫秒和情况。大家都知道，通过vfs进行write，都是写写到page cache中，然后内核线程再定期同步到磁盘。写到内存应该是很快的才对。刚开始，我做了许多设想，1）磁盘IO太重，内存中的脏数据达到一定比率后write必须同步写到磁盘；2）那些耗时长的write是使用direct io，绕过了page cache；3、刚刚好write一个page时，read也在读同一page，那个page被lock了，write要等它。后来每一种假设又都被自己推翻了。以下是通过vfs进行write系统调用的图：
前几天，使用systemtap进行一步步的定位，最后把可疑的点锁定在__block_write_begin这个函数中(fs/buffer.c)。
先说明下这个函数是干什么的。generic_perform_write函数是把数据写入磁盘的主要处理函数。它先调用address_space_operations. write_begin（其中会调用我们上文提到的__block_write_begin函数），接下来把数据拷贝到上一步分配出来的page中，最后调用address_space_operations.write_end。上面所说的write_begin和write_end会具体根据不同的file system调用不同的函数，拿ext4来说，它的函数如下（有dellay allocation的话）：
static const struct address_space_operations ext4_da_aops = { .readpage = ext4_readpage, .readpages = ext4_readpages, .writepage = ext4_writepage, .writepages = ext4_writepages, .write_begin = ext4_da_write_begin, .write_end = ext4_da_write_end, .bmap = ext4_bmap, .invalidatepage = ext4_da_invalidatepage, .releasepage = ext4_releasepage, .direct_IO = ext4_direct_IO, .migratepage = buffer_migrate_page, .is_partially_uptodate = block_is_partially_uptodate, .error_remove_page = generic_error_remove_page, };
可以看到，ext4的write_begin是ext4_da_write_begin。Ext4_da_write_begin会先分配一个页框，然后调用__block_write_begin分配缓冲区（为什么要分配缓冲区这里就不说明了）。那么，__block_write_begin分配缓冲区而已，为什么有时候要耗时那么长呢？先看看代码：
int __block_write_begin(struct page *page, loff_t pos, unsigned len,
get_block_t *get_block)
{
......
if (!buffer_uptodate(bh) && !buffer_delay(bh) &&
!buffer_unwritten(bh) &&
(block_start < from || block_end > to)) {
ll_rw_block(READ, 1, &bh); //这里指定read操作，提交BIO
*wait_bh++=bh;
}
......
/*
* If we issued read requests - let them complete.
*/
while(wait_bh > wait) { //这里等待io操作完成
wait_on_buffer(*--wait_bh);
if (!buffer_uptodate(*wait_bh))
err = -EIO;
}
}
write的基本单位是块（由磁盘文件系统定义，默认为4K）。这样的话，page cache中一个page（刚好也为4K）刚好就是一个块。比如说write的地址是512，长度是20，page cache就分配了一个能写 0~4095的页page frame，这个page frame刚好对应一个磁盘块，假如把要write的数据拷贝到这个page frame的 512~531，这样的话0~511和532~4095是空的。但是下次write back的时候会把整块数据都写入磁盘，所以需要把这一整块的数据都先从磁盘中读出来，写入page cache中，以防止0~511和532~4095被误写。这个读操作应该就是耗时长的原因了。
