Improving-performance-of-multithreaded-httpwebrequests

.NET中HttpWebRequest或WebClient 在多线程情况下存在并发连接限制，之所以有这个并发连接限制，是因为 http 1.0 和 http 1.1 标准规定并发连接数最大为2。用于服务器环境 (ASP.NET) 中时，DefaultConnectionLimit 默认为连接中较大的值 10。

MSDN: 对 DefaultConnectionLimit 属性的任何更改都将影响 HTTP 1.0 和 HTTP 1.1 连接。 单独改变 HTTP 1.0 和 HTTP 1.1 协议的连接限制是不可能的。

可以使用代码

System.Net.ServicePointManager.DefaultConnectionLimit = 1000;

 也可以配置

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
  <system.net>
    <connectionManagement>
      <add address="*" maxconnection="1000"/>
    </connectionManagement>
  </system.net>
</configuration>

Refer:
http://msdn.microsoft.com/zh-cn/library/system.net.servicepointmanager.defaultconnectionlimit%28v=vs.110%29.aspx
http://blogs.msdn.com/b/jpsanders/archive/2009/05/20/understanding-maxservicepointidletime-and-defaultconnectionlimit.aspx
http://stackoverflow.com/questions/388908/improving-performance-of-multithreaded-httpwebrequests-in-net