关于读取HttpWebRequest获取的服务器返回流的问题总结

  static void Main(string[] args)
        {
            HttpWebResponse web = MySpider.GetResponse("http://localhost:1853/WebForm1.aspx");
            DecompressGZip(web );
            Console.ReadLine();
        }

 

public static MemoryStream DecompressGZip(HttpWebResponse res)
    {

　　

　//如果服务器使用了Transfer-Encoding：chunked缓冲输出，则只要服务器端Flush了，就会触发此方法，而不是等到服务器发送过来的内容全部发送完才触发，而且与是不是异步HttpWebRequest请求也没有关系。相反，如果服务器没有使用Transfer-Encoding：chunked缓冲输出，则不管是异步HttpWebRequest请求还是同步HttpWebRequest请求，都得等到服务器发送过来的内容全部发送完才触发此方法。

 

        Stream stream = res.GetResponseStream();
        int length = 0;
        if (res.ContentLength > 0)
        {
            length = (int)res.ContentLength;
        }
        else
        {
            length = 3000;
        }
        MemoryStream memory = new MemoryStream(length);
        int count = 0;
        //每次从服务器返回流中读取5000个字节
        byte[] buffer = new byte[5000];      
                while (true)
                {

　　　　　　   //如果服务器使用了Transfer-Encoding：chunked缓冲输出，则如果已经读取了服务器第一次Flush的内容后服务器第二次Flush的内容还没有接收到，则会阻塞当前线程，直到接收到服务器第二次Flush的内容（第三，四。。。次Flush也是一样），所以很可能会造成读取一次返回的count不满5000，但下一次继续读取返回的count却不是0的情况

                    count = stream.Read(buffer, 0, buffer.Length);
                    if (count == 0)
                    {
                        break;
                    }
                    memory.Write(buffer, 0, count);
                }
            }     
        stream.Close();
        //将流的可读位置设置到起始值
        memory.Seek(0, SeekOrigin.Begin);
        return memory;
    }