浙江省高等学校教师教育理论培训

微信搜索“毛凌志岗前心得”小程序

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

http://cnodejs.org/blog/?p=1015

异步IO一定更好吗?

本文为原创文章,出自http://cnodejs.org,转载请注明出处和作者
作者:pengchun
原文:http://cnodejs.org/blog/?p=611

在长林的文章《nodejs异步IO的实现》中提到,NodeJS通过libeio来实现IO操作的异步化,而libeio采用多线程的方式来模拟异步操作。

这里我需要强调一个观点,异步IO虽然是NodeJS一个非常重要的特点,但异步IO并不总是最好的,其他语言也一样。我们来看这么一个例子:

在我的磁盘上有2个文件,我希望在一个程序里读取这2个文件,每次输出一个字符。请注意,我不要求一定要两个文件被交替着读取,也不要求一定要先读完一个再读另一个。

怎么样,貌似还没说到问题的实质。那么我们再分几种情况:

  1. “磁盘”是指我的机器上只有一块机械式硬盘,或者有多个硬盘,但被读取的两个文件位于同一块硬盘上;
  2. 被读取的文件位于不同的两个机械式硬盘上;
  3. 被读取的两个文件位于同一块固态硬盘(SSD)上。

如果你熟悉机械式硬盘的原理,我想已经明白我要说什么了。否则,我们继续往下看。我们知道,传统的机械式硬盘要读取某一个文件,首先要将磁头移动到某个位置(fseek)。这个过程是一个物理运动,所花的时间跟磁盘转速、磁头移动的距离有关。读取一个字节后,磁头顺便移动到紧挨着的下一个字节。我写了一段通过异步方式读取文件的测试代码如下:

var fs  = require('fs');

function test_stream_read(file, id) {
        var stream      = fs.createReadStream(file, {
                flags: 'r',
                encoding: 'utf8',
                mode: 0666,
                bufferSize: 1
        });

        var tag = "[ " + id + " ] ";
        stream.on('data', function(chunk) {
                console.log(tag + "data: " + chunk.trim());
        });

        console.log(tag + "start");
}

test_stream_read('/disk1/a.txt', 1);
test_stream_read('/disk2/b.txt', 2);

在上面的代码中,我用NodeJS的ReadStream来读取文件,设定的bufferSize为1,即每次读取一个字符。由于NodeJS异步IO的多线程方式,供测试的两个文件在程序逻辑上可以被并行读取。所以影响性能的关键就落在存储介质(磁盘)能否并行处理上了。

在第一个case中,由于两个文件位于同一块机械式磁盘上,一块磁盘的磁头只有一个,所以只能是顺序的。你会发现,这种情况下磁头在盘面上移来移去,大量时间花在物理运动上,性能不差才怪呢!在这个case里,你还不如让NodeJS阻塞着读文件呢!

而第二个case中,两个文件位于两块磁盘上,它们之间能互相独立的被操作,实际上落在单个磁盘上的读请求仍然是顺序读取,性能会较好。

第三个case你自己分析吧,我不多讲了。

总结一下:

  1. 哪种方式读文件,要根据你的硬件和应用特点来权衡,切忌盲从。我认为要考虑的几点包括:硬盘原理、多少个硬盘、文件放在几个文件上、一次读取多少个文件、文件的平均大小、读取的缓冲区大小。
  2. NodeJS的fs.read方法实际上用的也是ReadStream,只不过bufferSize被写死了,为64K。如果你的文件大小都小于64K,那么你可以简单地忽略上面啰嗦的一大堆文字了。但是,这个原理你得清楚。

关于这个话题,我希望有更多的讨论和测试代码。欢迎拍砖给我。

posted on 2011-11-15 11:34  lexus  阅读(561)  评论(0编辑  收藏  举报