Max retries exceeded with url
使用requests库请求url,会出现这个错误,原因是:
服务器负载过重,无法建立更多的链接,4种可能:
- http连接太多没有关闭导致的。
- 机器的内存不够了。
- 还有一种可能就是:由于请求频率过快,被目标网站封IP了
- 请求的 url 地址错误
解决办法:
1. 增加重试连接次数
requests.adapters.DEFAULT_RETRIES = 5
2. 关闭多余的连接
requests使用了urllib3库,默认的http connection是keep-alive的,requests设置False关闭。
操作方法:
s = requests.session()
s.keep_alive = False
作者:削微寒
扫描左侧的二维码可以联系到我
本作品采用署名-非商业性使用-禁止演绎 4.0 国际 进行许可。