遇事不决,可问春风,春风不语,谨遵本|

布都御魂

园龄:3年9个月粉丝:2关注:1

Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败

1.ip被封。
2.http的连接数超过最大限制。headers的Connection参数默认为keep-alive,导致之前所有的链接都一直存在,占用了后续的链接请求。
3.网站服务器太差,爬取请求的速度太快。(我的就是这样)
解决方案:
1.换ip,更换headers或者使用代理ip。
2.将Connection参数的值改为close。或者在requests.get前一行添加requests.adapters.DEFAULT_RETRIES = 5,意思是连接失败时重连五次。
3.将爬取操作放在while语句中

本文作者:布都御魂

本文链接:https://www.cnblogs.com/wolvies/p/14871479.html

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   布都御魂  阅读(7303)  评论(0编辑  收藏  举报
   
点击右上角即可分享
微信分享提示
评论
收藏
关注
推荐
深色
回顶
收起