【已解决】Https请求——基础连接已经关闭 发送时发生错误

本人在做商用项目的推送消息功能时,借助第三方推送服务。这里避免有打广告的嫌疑,就不报名字了。由于是通过调用API接口,所以Post方法是自己写的,但是在开发环境是可以正常推送的,但是一上线就出各种问题。楼主猜测可能是开发环境测试时,推送的消息比较少,而线上推送消息很多,从而导致和连接数相关的错误。下文很有帮助,记录于此。

报的错误为:1. "基础连接已经关闭: 发送时发生错误";

2016年10月25日18:56:53更新
后来本篇的所有方法都尝试了,发现最后也没解决问题。最后问题终于解决了,解决方案还是Google出来的:

之前的写法:

ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3 

能解决问题的写法:

ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3 | SecurityProtocolType.Tls12 | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls;

分析:因为请求的url是基于https的,所以Post请求时必须添加ServicePointManager.SecurityProtocol。但选择哪个协议呢?一开始看到项目里面都是基于ssl的,索性也用了ssl,但是没有效果,最后干脆直接把所以的协议枚举用或的形式全都写出来,成功了。


转自:http://www.crifan.com/fixed_problem_sometime_httpwebrequest_getresponse_timeout

【问题】

用C#模拟网页登陆,其中去请求几个页面,会发起对应的http的请求request,其中keepAlive设置为true,提交请求后,然后会有对应的response:

resp = (HttpWebResponse)req.GetResponse();

之前的多次调试,一直都是可以正常获得对应的response,然后读取html页面的。

但是后来几次的调试,在没有改变代码的前提下,结果GetResponse却始终会超时死掉。

【解决过程】

1.默认request的timeout是1000000毫秒=100秒,都会超时,手动改为10秒,因此就更容易超时了,无法解决问题。

2.将http的request的keepAlive设置为false,问题依旧。

3.把前面共4次的httprequest,每次都增加对应的以下代码,结果还是没解决问题。


resp = null; 
if (resp != null) 
{ 
    resp.Close(); 
} 
if (req != null) 
{ 
    req.Abort(); 
}

4.去尝试关于DefaultConnectionLimit的设置,改为为10:
System.Net.ServicePointManager.DefaultConnectionLimit = 10;问题依旧。

5.又去测试了下,关闭response.Close()也是没解决问题。

  1. 最后无意间,索性不抱希望的,再次DefaultConnectionLimit设置为更大的值50:

System.Net.ServicePointManager.DefaultConnectionLimit = 50;试了试,结果就解决超时的问题了。

然后才搞懂原因。之前默认设置为2,后来改为10,都没有解决问题的原因在于,当前有很多个http的连接,没有被关闭掉,而这些连接都是keepalive的,由于代码中,对于前面多个request。其都是keepalive为true,以及多个response也没有close,而之前调试了很多次了,所以,此时已经存在了很多个alive的http连接了,已经超过了10个了,所以前面设置了DefaultConnectionLimit 为10,也还是没用的。而改为50,才够用。

【总结】

此处GetResponse超过的原因是,当前存在太多数目的alive的http连接(大于10个),所以再次提交同样的http的request,再去GetResponse,就会超时死掉。

解决办法就是,把DefaultConnectionLimit 设置为一个比较大一点的数值,此数值保证大于你当前已经存在的alive的http连接数即可。

【经验总结】

以后写http的request代码,如果不是必须的要keepalive的,那么就要设置KeepAlive为false:

req.KeepAlive = false;

以及做对应的收尾动作:


if (resp != null) 
{ 
    resp.Close(); 
} 
if (req != null) 
{ 
    req.Abort(); 
}
  1. 又偶尔遇到一次,DefaultConnectionLimit已经是200了,足够大了,但是GetResponse和GetRequest以及Stream都释放了,还是会超时死掉的问题,具体是什么原因导致的还不是很清楚,但是经过折腾,参考:HttpWebResponse's GetResponse() hangs and timeouts


req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl); 
setCommonHttpReqPara(ref req); 
resp = (HttpWebResponse)req.GetResponse();

之前,添加一句垃圾回收:System.GC.Collect();

然后就解决了GetResponse的超时问题,并且后面的GetRequestStream也同时可以正常工作,不超时了。

所以,看起来像是当前系统由于调试多次,并且HttpWebRequest和HttpWebResponse都是没有正常去Close的,可能会残留一些http的链接,然后就可能影响到了后续对于http的使用,垃圾回收后,估计就把残余的http相关资源释放了,然后http就可以正常工作了。

【总结】

对于GetResponse或GetRequestStream超时死掉的原因,可能是:

1.DefaultConnectionLimit是默认的2,而当前的Http的connection用完了,导致后续的GetResponse或GetRequestStream超时死掉

==>> 默认系统只支持同时存在2个http的connection

==>> 使用HttpWebRequest之后如果没有close,则会占用1个http的connection,所以如果超过2次使用HttpWebRequest而没有close,那么就用完系统的http的connection,之后再去使用HttpWebRequest,GetResponse就会死掉。

解决办法:

办法1:

每次使用完HttpWebRequest,使用

req.Close();
req=null;

去关闭对应的http connection.

最好对应的HttpWebResponse也要close:

resp.Close();
resp = null;

方法2:

修改DefaultConnectionLimit的值,改为足够大,比如:

System.Net.ServicePointManager.DefaultConnectionLimit = 200;

2.系统中Http相关的资源没有正确释放,导致后续GetResponse或GetRequestStream超时死掉

就像我此处遇到的,可能是之前调用http相关函数,没有正确完全释放资源,导致虽然DefaultConnectionLimit给了足够大,但是还是会死掉,此时在http请求代码之前去做一次垃圾回收,则后续http的GetResponse或GetRequestStream就正常了,就不会超时死掉了。

参考代码如下:

System.GC.Collect();
 
req = (HttpWebRequest)WebRequest.Create(constSkydriveUrl);
setCommonHttpReqPara(ref req);
resp = (HttpWebResponse)req.GetResponse();

3.Http的GET请求时,不要手动设置ContentLength的值

这个是参考这里:HttpWebRequest.GetResponse() hangs the second time it is called而记录于此的,也许有人是此原因,所以可供参考一下。

即Http的GET请求,不要添加类似如下的代码:

if (m_contentLength > 0)
    httpWebRequest.ContentLength = m_contentLength;

不要去手动修改对应的ContentLength的值,C#的http相关库函数,会自动帮你计算的。

注:POST方法中,的确是要手动填充数据和算出数据大小,然后手动给ContentLength赋值的。

4.其他可能的一些原因

(1)关于KeepAlive的问题

如果Http的请求,是设置了KeepAlive=true的话,那么对应的http的connection会和服务器保持连接的。

所以如果上述办法都不能解决超时的问题,可以尝试将keepAlive设置为false试试,看看能否解决。

(2)关于Sleep

有些人好像是通过在http请求前,加了对应的Sleep,结果解决了此问题。需要的人,也可以试试。

(3)HttpWebRequest的Timeout

一般来说,既然超时了,往往是由于错误使用函数或者网络有问题导致的,所以实际上此处对于有些人去把HttpWebRequest的Timeout的值改的更大,往往都是没用的。

只不过,万一是由于网络响应慢而导致超时,那么倒是可以尝试,将HttpWebRequest的Timeout的值改为更大。

(其中HttpWebRequest的Timeout默认的值是100,000 milliseconds ==100 seconds)

参考代码:req.Timeout = 5 * 60 * 1000; // 5 minutes

 

 

写在前面:

从上次,跟合作方的站点对接开始就产生了这个问题,当时用C#进行POST提交,总是会出现问题,找了很久发现对方的站点居然是TLS 1.2 的。

正文:

然而,在.NET FrameWork 4.0的环境下,居然找不到。。。System.Net.SecurityProtocolType 这个枚举,没有这个值。。。

所以,在POST提交的时候,是会出现问题,有的网站就不会有这个问题,因为他们是1.0的。

所以啊,感觉这就是一个坑,好在,即使没有现成的,1.2我们也是可以用代码来实现1.2的

ServicePointManager.SecurityProtocol = (SecurityProtocolType)3072; //SecurityProtocolType.Tls1.2;

    当然,如果是4.0以后的环境,查看这个枚举是可以看到不同的值的。

复制代码
namespace System.Net
{ using System;
    
    [Flags] public enum SecurityProtocolType
    {
        Ssl3 = 0x30,
        Tls = 0xc0,
        Tls11 = 0x300,
        Tls12 = 0xc00 }
}
复制代码

还有一点此处的https必须是.netframework4.5及以上才能使用,

否则执行到这行代码的时候,会抛出The requested security protocol is not supported异常

ServicePointManager.SecurityProtocol = (SecurityProtocolType)3072;

 

,,,,到这里,该说的,都说了,最后附上,C#  https POST的代码吧。

复制代码
    class ProgramTest
    { static void Main(string[] args)
        { string url = "https://www.test.com"; string result = PostUrl(url, "key=123"); // key=4da4193e-384b-44d8-8a7f-2dd8b076d784  Console.WriteLine(result);
            Console.WriteLine("OVER");
            Console.ReadLine();
        } private static string PostUrl(string url, string postData)
        {
            HttpWebRequest request = null; if (url.StartsWith("https", StringComparison.OrdinalIgnoreCase))
            {
                request = WebRequest.Create(url) as HttpWebRequest;
                ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
                request.ProtocolVersion = HttpVersion.Version11;
         // 这里设置了协议类型。 ServicePointManager.SecurityProtocol = (SecurityProtocolType)3072;// SecurityProtocolType.Tls1.2;  request.KeepAlive = false;
                ServicePointManager.CheckCertificateRevocationList = true;
                ServicePointManager.DefaultConnectionLimit = 100;
                ServicePointManager.Expect100Continue = false;
            } else {
                request = (HttpWebRequest)WebRequest.Create(url);
            }

            request.Method = "POST"; //使用get方式发送数据 request.ContentType = "application/x-www-form-urlencoded";
            request.Referer = null;
            request.AllowAutoRedirect = true;
            request.UserAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";
            request.Accept = "*/*"; byte[] data = Encoding.UTF8.GetBytes(postData);
            Stream newStream = request.GetRequestStream();
            newStream.Write(data, 0, data.Length);
            newStream.Close(); //获取网页响应结果 HttpWebResponse response = (HttpWebResponse)request.GetResponse();
            Stream stream = response.GetResponseStream(); //client.Headers.Add("Content-Type", "application/x-www-form-urlencoded"); string result = string.Empty; using (StreamReader sr = new StreamReader(stream))
            {
                result = sr.ReadToEnd();
            } return result;
        } private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)
        { return true; //总是接受   }
    }
复制代码
 
 

如何在.net 4.0下安装TLS1.2的支持

最近提交请求发生错误:不支持请求的协议,研究了一下TLS1.2,发现这玩意的支持和.Net环境的版本有关

 

//SecurityProtocolType.Tls1.0=0xC0; SecurityProtocolType.Tls1.1=0x300; SecurityProtocolType.Tls1.2=0xC00;
//.net 4.0/4.5默认值:SecurityProtocolType.Tls | SecurityProtocolType.Ssl3
//.net 4.6/4.7默认值:SecurityProtocolType.Tls | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls12
//https://support.microsoft.com/en-us/help/3069494/cannot-connect-to-a-server-by-using-the-servicepointmanager-or-sslstre
//SCH_USE_STRONG_CRYPTO 此标志将在.NET Framework 4.6中自动使用
//https://support.microsoft.com/en-us/help/3154518/support-for-tls-system-default-versions-included-in-the-net-framework 在Win7Sp1和.Net 3.5.1中,支持TLS1.2
ServicePointManager.SecurityProtocol &= ~SecurityProtocolType.Ssl3; //关闭ssl3
ServicePointManager.SecurityProtocol |= (SecurityProtocolType)0x300 | (SecurityProtocolType)0xc00; //增加1.1和1.2支持
//TLS1.2的结论是这样的:
//1、安装.Net3.5.1需要打个补丁,然后增加TLS1.2枚举
//2、安装.Net 4.0需要修改注册表,然后增加TLS1.2枚举
//3、安装.Net4.5之后,还需要增加TLS1.2枚举
//4、安装.Net4.6.1之后,默认支持TLS1.2

 

.net4下的注册表修改

Windows Registry Editor Version 5.00

[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\.NETFramework\v4.0.30319]
"SchUseStrongCrypto"=dword:00000001

[HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Microsoft\.NETFramework\v4.0.30319]
"SchUseStrongCrypto"=dword:00000001

 

posted on 2017-10-05 00:30  大西瓜3721  阅读(2963)  评论(0编辑  收藏  举报

导航