高效方便的IO库: System.IO.Pipelines
我们在编写网络程序的时候,经常会进行如下操作:
-
申请一个缓冲区
-
从数据源中读入数据至缓冲区
-
解析缓冲区的数据
-
重复第2步
表面上看来这是一个很常规而简单的操作,但实际使用过程中往往存在如下痛点:
可能不能在一次read操作中读入所有需要的数据,因此需要在缓冲区中维护一个游标,记录下次读取操作的起始位置,这个游标带了了不小的复杂度:
由于缓冲区有限,可能申请的缓冲区不够用,需要引入动态缓冲区。这也大幅加大了代码的复杂度。
我们的业务本身只关心使用操作,但读和用操作没有分离,复杂的都操作导致用操作也变得复杂,并且严重干扰业务逻辑。
今天介绍微软新推出的一个库:System.IO.Pipelines(需要在Nuget上安装),用于解决这些痛点。它主要包含一个Pipe对象,它有一个Writer属性和Reader属性。
var pipe = new Pipe();
var writer = pipe.Writer;
var reader = pipe.Reader;
Writer对象用于从数据源读取数据,将数据写入管道中;它对应业务中的"读"操作。
var content = Encoding.Default.GetBytes("hello world");
var data = new Memory<byte>(content);
var result = await writer.WriteAsync(data);
var buffer = writer.GetMemory(512);
content.CopyTo(buffer);
writer.Advance(content.Length);
var result = await writer.FlushAsync();
Reader对象用于从管道中获取数据源,它对应业务中的"用"操作。
var result = await reader.ReadAsync();
var buffer = result.Buffer;
这个Buffer是一个ReadOnlySequence<byte>对象,它是一个相当好的动态内存对象,并且相当高效。它本身由多段Memory<byte>组成,查看Memory段的方法有:
它从逻辑上也可以看成一段连续的Memory<byte>,也有类似的方法:
另外,它还有一个类似游标的位置对象SequencePosition,可以从其Position相关函数中使用,这里就不多介绍了。
这个缓冲区解决了"数据读不够"的问题,一次读取的不够下次可以接着读,不用缓冲区的动态分配,高效的内存管理方式带来了良好的性能,好用的接口是我们能更关注业务。
使用完后,告诉PIPE当前使用了多少数据,下次接着从结束位置后读起
reader.AdvanceTo(buffer.GetPosition(4));
这是一个相当实用的设计,它解决了"读了就得用"的问题,不仅可以将不用的数据下次再使用,还可以实现Peek的操作,只读但不改变游标。
Reader和Writer都有一个Complete函数,用于通知结束:
reader.Complete();
writer.Complete();
FlushResult result = await writer.FlushAsync();
ReadResult result = await reader.ReadAsync();
它们都有一个IsComplete属性,可以根据它是否为true判断是否已经结束了读和写的操作。
在写入和读取的时候,也可以传入一个CancellationToken,用于取消相应的操作。
writer.FlushAsync(CancellationToken.None);
reader.ReadAsync(CancellationToken.None);
本文来自博客园,作者:willamyao,转载请注明原文链接:https://www.cnblogs.com/robertyao/p/9930195.html
代码改变世界