重叠I/O之可等待的重叠I/O【系列一】

一 什么是异步I/O

  同步I/O和异步I/O的关键不同就是在发出I/O请求后,线程是否会阻塞。当线程发出一个设备I/O请求的时候,线程会被挂起来,直到设备完成I/O请求为止,这称之为同步I/O。而对于异步I/O,当线程提交了一个设备I/O请求后,可以继续运行,当内核完成I/O的请求后会通知线程I/O已完成。由于与计算机执行的大多数其它操作相比,设备I/O是其中最慢的,所以使用异步I/O在大多数情况下可以大幅度提升程序的新能,当然一些个别情况就不一定使用啦。

 

二 异步I/O的分类

  在Windows下一共有四种异步I/O的技术,它们在启动I/O操作的方法以及用于操作何时完成的方法上有所不同:

  • 等待的 重叠I/O。线程发出I/O请求之后继续执行,当线程需要I/O请求的结果才能继续时,则要么等待文件句柄,要么等待在重叠结构中指定的一个事件。根据等待对象的不同,分为等待文件句柄的重叠I/O和等待事件的重叠I/O。等待文件句柄的重叠I/O没有多大用,因为它需要等待和此文件句柄关联的所有操作完成,同步I/O基本差不多。一般我们用的是等待事件的重叠I/O,使用人工事件来实现等待。
  • 完成例程的重叠I/O。完成例程,这个名词看上去似乎很高级,说白了就是个毁掉函数。这个方法允许我们向一个设备发出多个I/O请求,这些I/O请求中带有一个回调函数,即完成例程。当I/O请求完成时,如果线程处于可提醒状态,则系统会通知该线程调用它的异步队列中的回调函数来处理完成的I/O。
  • I/O完成端口。I/O完成端口允许我们向一个设备同时发出多个I/O请求。它允许一个线程发出I/O请求而另外一个线程对结果进行处理,这个是是和完成例程不同之处。这个技术具有很好的伸缩性和灵活性,算是异步I/O中最好的一种方式。I/O完成端口里面有一套线程池的调度策略,所以免去了我们去维护多线程的烦恼。

 

三  相关数据结构和函数

  下面我们来看看重叠I/O中的第一个方法----重叠I/O(等待)。先从了解重叠结构开始:

1  重叠结构 OVERLAPPED

  “overlapped”是执行I/O请求的时间与其他线程执行其他任务的时间是重叠的,OVERLAPPED的结构如下:

   

typedef struct _OVERLAPPED {
    ULONG_PTR Internal; //系统保留参数,初始化时不用设置,返回值时保存已处理的I/O请求的错误码
    ULONG_PTR InternalHigh; //系统保留参数,初始化时不用设置,返回值时保存已传输的字节数
    union {
        struct {
            DWORD Offset; //文件偏移量的低位
            DWORD OffsetHigh; //文件偏移量的高位
        };

        PVOID Pointer;
    };

    HANDLE hEvent; //事件句柄,必须是手动事件
} OVERLAPPED, *LPOVERLAPPED;

  参数说明:

  Offset 和OffsetHigh

  这两个成员构成一个64位的偏移量。如果当前操作的是文件设备,则表示当前文件I/O操作应该从哪里开始。当执行异步I/O时,系统会忽略与文件关联的内核文件指针,而是用OVERLAPPED中指定的起始偏移量,这样可以避免对同一个对象进行异步调用的时候出现混淆。对于非文件设备,则需要将这两个参数设置为0,否则I/O请求会失败,返回错误ERROR_INVALID_PARAMETER。

  hEvent

  不同的重叠I/O操作方法中,hEvent的设置不同。在可等待的重叠I/0操作中,如果等待的是操作的文件句柄,则不需要hEvent不需要设置;而如果通过OVERLAPPED结构中的hEvent来等待的,或者是I/O完成端口方法,则需要将此参数设置为一个人工事件,注意不能使自动事件。如果是I/O完成例程的方法,则hEvent一般都用来传递I/O操作的信息。

  Internal

  用来保存已经处理的I/O请求的错误码。当我们发出异步I/O请求后,设备驱动程序会将internal设置为STATUS_PENDING,表示没有错误,操作尚未开始。

  InternalHigh

  当异步I/O请求完成时,用来保存已经传输的字节数。

异步I/O的注意事项:

  1 在异步I/O请求完成之前,一定不恩能够移动或是销毁在发出I/O请求时所使用的数据缓存和OVERLAPPED机构,否则会使内存遭到破坏。因为我们传给I/O设备的是这两个数据的地址,而I/O设备并不知道我们已经销毁了它们。

  2 在执行异步I/O的时候,设备不必以先入先出的方式处理队列中的I/O请求。

  3 以异步I/O执行的时候,文件的读写等相关的操作返回为FALSE不一定表示失败。必须调用GetLastError,如果GetLastError返回的是ERRO_IO_PENDING,表示I/O请求已经成功的加入到I/O队列中,会在晚些时候完成。

 

2 获取重叠I/O状态

  当我们使用ReadFile或WriteFile向文件发送读写请求后,函数会立刻返回。大多数情况下,返回时I/O操作都未完成,所以返回的FALSE,自然我们也不知道传输的字节数了。所以我们需要另外一种方法来获取文件I/O完成时传输的字节数,这个函数便是GetOverlappedResult:

  

BOOL
WINAPI
GetOverlappedResult( 
                    __in  HANDLE hFile,              //I/O文件句柄
                    __in  LPOVERLAPPED lpOverlapped, //重叠结构
                    __out LPDWORD lpNumberOfBytesTransferred, //I/O完成时传输的字节数
                    __in  BOOL bWait   //Ture:一直等待,Flase:立刻返回
                    );

 

 参数hFile和lpOverlapped组合在一起可以唯一的表示一个I/O操作。当bWait设置为True,则函数会一直等待此I/O操作完成才会返回,此时lpNumberOfBytesTransfferred中即是传输的字节数。如果bWait设置为False,函数会立刻返回,如果返回会False且GetLastError()为ERRO_IO_PENDING,表示I/O尚未完成,需要轮询检查I/O是否完成。

 

3 取消队列中的重叠I/O请求

  如果想要取消一个已经加入到I/O队列但是尚未处理的I/O请求,则可以调用CancelIoEx取消。

BOOL
WINAPI
CancelIoEx(
    __in HANDLE hFile,
    __in_opt LPOVERLAPPED lpOverlapped
    );

  CancelIoEx不仅可以取消掉本线程发出的相关文件的I/O请求,还可以将调用线程外的其他线程发出的待处理的I/O请求取消掉。这个函数会将hFile设备待处理的I/O请求中所有与lpOverlapped参数相关联的请求都取消掉。但是由于每个待处理的I/O请求都有一个其特定的OVERLAPPED结构,所以如果lpOverlpaped非空,则CancelIoEx每次只能取消一个请求。而lpOverlpaped为NULL的话,会取消掉hFileI/O请求队列中的所有I/O请求。

 

四 例子:使用可等待的重叠I/O进行文件复制操作

  这个示例程序使用事件来实现重叠I/O的等待。这个程序实现从输入文件中异步读数据,然后异步的写数据到输出文件中。程序采用多缓冲区的方法进行文件的转换,假设输入和输出各采用N个缓冲区,则N个输入缓冲和N个输出缓冲需要N个输入重叠结构和N个输出重叠结构与其对应。初始时,N个输入缓冲分别发出重叠的读操作,然后程序使用WaitForMultipleObjects来等待单一的I/O操作完成事件,表示一个读或写操作完成。当一个读操作完成时,则对缓冲区进行复制,然后发起一个写操作请求。当写完成时,就可以进行下一个读操作请求了。

 

 

posted @ 2014-05-05 15:01  数据世界  阅读(532)  评论(1编辑  收藏  举报