requests超时重试方法(由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败)
前言
1、"由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败",这是在做接口测试经常遇到的问题。
2、异常信息:
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.github.com', port=443): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x0000020F06524AC8>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。',))
3、一般出现这个问题的原因是:host='www.github.com' 主机地址没连上;比如使用 requests 发请求时,有些网站服务器不稳定,特别是国外的网站,经常会出现连接失败情况。
连接失败后,有时候会抛出上面异常;有时候会一直卡住,进入假死状态,没响应,也不会结束。
4、连接超时通常指的是客户端与服务端的TCP连接超时。在客户端尝试与服务器建立TCP连接时,如果超过了设定的连接超时时间,而服务器还没有响应,那么客户端就会中止连接尝试并抛出一个超时异常。
5、连接超时时间是指在进行网络连接时,客户端等待服务器响应的时间限制。也就是说,当客户端尝试连接到服务器时,如果超过了设定的连接超时时间,而服务器还没有响应,那么客户端就会中止连接尝试并抛出一个超时异常。
timeout参数
requests 发请求的时候会有个默认的超时时间,这个时间在20秒左右。
import requests s = requests.session() url = "https://www.github.com/" r = s.request("GET", url=url) print(r.text)
连不上服务器会出现异常: requests.exceptions.ConnectionError
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.github.com', port=443): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x0000020F06524AC8>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。',))
如果请求一直没响应,进入假死状态,可以加个 timeout 超时时间,达到这个请求超时时间就结束,如 15 秒超时。
import requests s = requests.session() url = "https://www.github.com/" r = s.request("GET", url=url, timeout=15) print(r.text)
这样抛出的异常是: requests.exceptions.ConnectTimeout
raise ConnectTimeout(e, request=request) requests.exceptions.ConnectTimeout: HTTPSConnectionPool(host='www.github.com', port=443): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.VerifiedHTTPSConnection object at 0x000001CF6D2A4A20>, 'Connection to www.github.com timed out. (connect timeout=15)'))
timeout
参数可以接受一个简单的浮点数或者一个包含两个简单浮点数的元组。当timeout
参数设置为一个浮点数时,这个浮点数将用作连接部分和读取部分的超时时间。例如:
import requests response = requests.get('http://example.com', timeout=1.0) # 设置超时时间为1.0秒
上述代码中,如果请求在1.0秒内没有完成,那么requests
将会抛出一个requests.exceptions.Timeout
异常。
如果需要分别设置连接超时时间和读取超时时间,可以将timeout
参数设置为一个包含两个浮点数的元组。例如:
import requests response = requests.get('http://example.com', timeout=(1.0, 3.0)) # 设置连接超时时间为1.0秒,读取超时时间为3.0秒
上述代码中,如果连接在1.0秒内没有建立,或者读取在3.0秒内没有完成,那么requests
将会抛出一个requests.exceptions.Timeout
异常。
失败重试 max_retries
Requests 自带了一个传输适配器,也就是 HTTPAdapter。
这个适配器使用了强大的 urllib3,为 Requests 提供了默认的 HTTP 和 HTTPS 交互。
每当 Session 被初始化,就会有适配器附着在 Session 上,其中一个供 HTTP 使用,另一个供 HTTPS 使用。
import requests from requests.adapters import HTTPAdapter s = requests.session() # max_retries=3 重试3次 s.mount('http://', HTTPAdapter(max_retries=3)) s.mount('https://', HTTPAdapter(max_retries=3)) url = "https://www.github.com/" r = s.request("GET", url=url, timeout=15) print(r.text)
这样每次请求超时15s,超时后会重试3次,最大请求时长45s。