Scrapy与分布式开发(2.1.2)：python常用网络请求库httpx

Python httpx 模块详细讲解

一、引言

httpx 是一个用于发送 HTTP 请求的 Python 库，它提供了简单易用的 API，支持同步和异步请求，并且具有出色的性能和灵活性。httpx 是 requests 的一个现代替代品，它使用 httpcore 作为底层传输层，支持 HTTP/1.1 和 HTTP/2 协议。

二、安装

你可以使用 pip 命令来安装 httpx：

pip install httpx

三、基本用法

发送 GET 请求

import httpx

response = httpx.get('https://www.example.com')
print(response.status_code)  # 打印 HTTP 状态码
print(response.text)         # 打印响应内容

发送 POST 请求

import httpx

payload = {'key': 'value'}
response = httpx.post('https://www.example.com/post', json=payload)
print(response.status_code)
print(response.text)

其他 HTTP 方法

httpx 同样支持 PUT、DELETE、HEAD 等其他 HTTP 方法。

response = httpx.put('https://www.example.com/put', json=payload)
response = httpx.delete('https://www.example.com/delete')
response = httpx.head('https://www.example.com/head')

四、响应处理

状态码

print(response.status_code)  # 打印 HTTP 状态码

响应头

print(response.headers)  # 打印响应头信息

响应内容

print(response.text)      # 打印响应内容（字符串形式）
print(response.json())    # 如果响应内容是 JSON 格式，可以使用此方法解析
print(response.content)   # 打印响应内容（字节形式）

错误处理

如果请求发生错误，httpx 会抛出一个 httpx.HTTPError 异常。你可以使用 try-except 语句来捕获这个异常。

try:
    response = httpx.get('https://www.example.com/invalid')
    print(response.text)
except httpx.HTTPError as err:
    print(err)

五、高级特性

参数传递

在 GET 请求中，你可以使用 params 参数来传递查询字符串。

payload = {'key1': 'value1', 'key2': 'value2'}
response = httpx.get('https://www.example.com/get', params=payload)
print(response.url)  # 打印完整的 URL，包括查询字符串

自定义请求头

你可以使用 headers 参数为请求添加自定义的头部信息。

headers = {'User-Agent': 'my-app/0.0.1'}
response = httpx.get('https://www.example.com', headers=headers)

文件上传

使用 files 参数可以上传文件。

files = {'file': open('path/to/file', 'rb')}
response = httpx.post('https://www.example.com/upload', files=files)

认证

使用 auth 参数可以为请求添加 HTTP 认证。

from httpx import BasicAuth

response = httpx.get('https://www.example.com', auth=BasicAuth('username', 'password'))

超时设置

使用 timeout 参数可以为请求设置超时时间。

response = httpx.get('https://www.example.com', timeout=5.0)  # 超时时间为 5 秒

代理设置

使用 proxies 参数可以设置代理服务器。

proxies = {
    'http': 'http',
    'https': 'http',
}

response = httpx.get('https://www.example.com', proxies=proxies)

流式响应

对于大文件或长时间运行的响应，你可能想要以流的方式处理数据，而不是一次性加载整个响应体。httpx 支持流式响应，允许你按需读取数据。

import httpx

with httpx.stream('GET', 'https://www.example.com/large-file') as response:
    for chunk in response.iter_content(chunk_size=8192):
        # 处理每个数据块
        process(chunk)

客户端会话

与 requests 的 Session 类似，httpx 提供了 Client 和 AsyncClient 类，用于创建客户端会话。这允许你在多个请求之间重用底层连接，从而提高了性能。

import httpx

# 创建同步客户端会话
with httpx.Client() as client:
    response1 = client.get('https://www.example.com/api/data1')
    response2 = client.get('https://www.example.com/api/data2')

# 创建异步客户端会话
async with httpx.AsyncClient() as client:
    response1 = await client.get('https://www.example.com/api/data1')
    response2 = await client.get('https://www.example.com/api/data2')

连接池管理

httpx 使用了连接池来管理底层 TCP 连接，这有助于减少建立连接的开销。你可以通过配置 httpx.Client 或 httpx.AsyncClient 的连接池参数来定制连接池的行为。

# 同步客户端的连接池配置
with httpx.Client(limits=httpx.Limits(max_connections=100, max_keepalive=5)) as client:
    # ...

# 异步客户端的连接池配置
async with httpx.AsyncClient(limits=httpx.AsyncLimits(max_connections=100, max_keepalive=5)) as client:
    # ...

请求和响应模型

httpx 提供了 Request 和 Response 类，这些类可以用来手动创建请求和响应对象。这在某些高级用法中可能很有用，例如当你需要更细粒度的控制时。

import httpx

# 创建请求对象
request = httpx.Request('GET', 'https://www.example.com')

# 发送请求并获取响应
with httpx.Client() as client:
    response = client.send(request)

# 处理响应
print(response.status_code)
print(response.text)

错误处理

除了标准的 httpx.HTTPError 异常，httpx 还提供了其他异常类，用于处理不同的错误情况。

try:
    response = httpx.get('https://www.example.com/invalid')
    response.raise_for_status()
except httpx.HTTPError as exc:
    print(f"HTTP error occurred: {exc}")
except httpx.RequestError as exc:
    print(f"A request error occurred: {exc}")
except httpx.ConnectError as exc:
    print(f"Connection error occurred: {exc}")

工具和实用功能

httpx 还提供了一些实用的工具和函数，如 httpx.URL 类用于解析和处理 URL，httpx.codes 模块包含 HTTP 状态码常量等。

from httpx import URL, codes

# 解析 URL
parsed_url = URL('https://www.example.com/path?query=value#fragment')
print(parsed_url.scheme)  # 输出 'https'

# 检查状态码是否表示成功
if response.status_code == codes.ok:
    # 处理成功的响应
    pass