Python_requests_最简单易用的HTTP库
requests是python最简单易用的HTTP库。
模块安装
默认是没有安装requests模块的，需要通过pip安装
pip install requests
常用请求方法
| 方法 | 解释 |
|---|---|
| requests.request(method, url, **kwargs) | 构造以下请求的一个基础方法 |
| requests.get(url, params=None, **kwargs) | 构造一个get请求 |
| requests.post(url, data=None, json=None, **kwargs) | 构造一个post请求 |
| requests.put(url, data=None, **kwargs) | 构造一个put请求 |
| requests.delete(url, data=None, **kwargs) | 构造一个delete请求 |
参数说明
- method：请求方式
- url：网站地址
- params：请求参数，多用于请求参数为表单的情况。
- data：请求数据，用于post请求传参，字符类型为字典，
request.body的内容为a=1&b=2这种形式 - json：请求数据，用于post请求参数，字符类型为json字符串或字典，
request.body的内容为'{"a": 1, "b": 2}'这种形式。Content-Type为application/json 一般使用该参数。 - **kwargs为缺省参数
- headers：请求的头部，数据类型为字典
- cookies：请求的cookie，数据类型为字典或CookieJar
- timeout：请求超时时间，单位为秒
- auth：http认证，数据类型为元组
- files：向服务器传输文件，数据类型为字典。key值为接口定义的字段，value值为元组：('filename', fileobj, 'content_type') ，使用了该参数不要加Content-Type
- proxies：设置访问代理服务器，数据类型为字典
- allow_redirects: 是否允许对url进行重定向， 默认为True。
- stream: 是否对获取内容进行立即下载， 默认为True。
- verify：是否认证SSL证书， 默认为True。
- cert： 设置保存本地SSL证书路径
获取响应内容
r.encoding # 获取当前的编码 r.encoding = 'utf-8' # 设置编码 r.text # 以encoding解析返回内容。字符串方式的响应体，会自动根据响应头部的字符编码进行解码。 r.content # 以字节形式（二进制）返回。字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩。 r.headers # 以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回None r.status_code # 响应状态码 r.raw # 返回原始响应体，也就是 urllib 的 response 对象，使用 r.raw.read() r.ok # 查看r.ok的布尔值便可以知道是否登陆成功 #*特殊方法*# r.json() # Requests中内置的JSON解码器，以json形式返回,前提返回的内容确保是json格式的，不然解析出错会抛异常 r.raise_for_status() # 失败请求(非200响应)抛出异常
代码演示
get请求
import requests rsp = requests.get("http://www.baidu.com") print(rsp) print(rsp.text) print(rsp.encoding) print(rsp.headers)
上传文件或图片
以下图接口为例，接口传入了id和file字段
响应如下
使用request模块，从接口完成图片上传。代码如下：
import requests url = "https://xxxxxx/uploadIdCard" params = {"id": "ipJO6Yys3Zql0YXXXXXXXXXXXXXXXXXXXX"} # 文件或图片传入格式说明：file为接口定义的字段，字段值传入元组格式 files = { "file": ("123.pdf", open("./123.pdf", "rb")), } # 非图片（或文件）字段正常入参， 图片（或文件）以files传入 rsp = requests.post(url, params=params, files=files) print(rsp.json())
注意：请求时不要加{"Content-Type": "multipart/form-data"}的header，否则请求会报错
执行结果：
常见问题
1、响应header中的中文乱码
现象：接口响应的文件名称的中文部分乱码
解决方法：使用了Python中的urllib库来进行URL解码
代码如下：
from urllib import parse filename = parse.unquote("test_data_%E5%85%A5%E7%BB%84%E6%98%8E%E7%BB%86_20230511194810.xlsx") print(filename)
2、向https地址发起请求报错ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED]
报错原因是证书验证失败，从Python 2.7.9版本开始，服务器证书验证功能默认启动。如果证书验证失败，将拒绝后续操作。这种做法能够防止中间人攻击，并能确保客户端认定的服务器身份是真实的。然而，对于自签名证书，由于系统的CA证书中通常不包含自签名CA证书的内容，因此证书验证可能会失败。
解决方法：
将参数verify设置为False
设置为False后，能正常请求接口，但是会有告警。
忽略告警：
# 导入模块 from requests.packages import urllib3 # 在发起请求添加忽略告警代码 urllib3.disable_warnings()
再次执行就没有告警提示了~
简单封装
# -*- coding:utf-8 -*- """model 基类， 无需变动 """ import json import os import requests from requests.packages import urllib3 # from utils import log class Model(object): """请求模型基类 """ url = None # protocol://hostname[:port] def __init__(self): self.public_headers = {} # 请求头 self.setup() # @property # def _log(self): # """记录请求中的日志 # """ # return log.create_logger("API_LOG") def setup(self): """发送请求的前预置操作 比如设置公共headers：在该方法中使用 add_public_headers 方法添加 """ pass def add_public_headers(self, headers): """添加公共headers :param headers: 添加的请求头 :type headers: dict """ self.public_headers.update(headers) def del_public_headers(self, key): """删除公共headers""" try: self.public_headers.pop(key) except KeyError: pass def handle_request_headers(self, headers): """ 处理请求传入的headers """ headers = headers or {} for k in self.public_headers.keys(): if k in headers: continue headers.update({k: self.public_headers[k]}) return headers def _request(self, method, interface, body=None, params=None, timeout=60, encode=None, headers=None, files=None): """api请求基础方法 :param method: 请求方式 :param interface: uri :param body: body请求参数。 Content-Type为application/json 一般使用该参数 :param params: 链接请求参数 :param timeout: 超时时间 :param encode: 请求转码 :param headers: 添加header。这里添加的header为请求当前请求添加或修改的header。下次请求默认使用公共 public_headers :param files: 上传文件使用 :return: response """ # 如果发起http请求，则必须配置类属性url if self.url is None: raise NotImplementedError("需要在%s定义url类属性才能发起http请求" % self.__class__) url = self.url + interface # req_log = body or params headers = self.handle_request_headers(headers) # self._log.info("=============[%s %s]=============" % (method.upper(), interface)) # self._log.info(">>> [header] %s" % headers) # self._log.info(">>> [Request] %s" % req_log) urllib3.disable_warnings() self._response = requests.request( method, url, json=body, params=params, timeout=timeout, headers=headers, files=files, verify=False ) if encode: self._response.encoding = encode rsp = self._response.content try: rsp = json.loads(rsp) except Exception: pass # if isinstance(rsp, bytes): # self._log.info("<<< [Response] 二进制内容不记录日志\n\n") # else: # self._log.info("<<< [Response] %s\n\n" % rsp) return rsp def request_post(self, interface, body=None, params=None, timeout=60, encode=None, headers=None): return self._request("POST", interface, body, params, timeout, encode, headers) def request_get(self, interface, body=None, params=None, timeout=60, encode=None, headers=None): return self._request("GET", interface, body, params, timeout, encode, headers) def request_put(self, interface, body=None, params=None, timeout=60, encode=None, headers=None): return self._request("PUT", interface, body, params, timeout, encode, headers) def upload_file(self, interface, file_path, upload_file_name=None, params=None, file_field="file"): """上传文件 file_path：导入文件路径 upload_file_name：上传文件的名称。注意：修改后的名称文件格式需要一致 params：除了file字段外的其它字段入参 file_field：上传文件二进制的字段名称，默认为file """ upload_file_name = upload_file_name or os.path.basename(file_path) # 文件或图片传入格式说明：file为接口定义的字段，字段值传入元组格式 files = {file_field: (upload_file_name, open(file_path, "rb"))} headers = {"Content-Type": None} return self._request("POST", interface, params=params, headers=headers, files=files) def download_file(self, interface, save_dir, filename, body=None, params=None, timeout=60, headers=None): """下载文件 download_dir：下载的目录 filename：保存的文件名称 """ # 获取响应的二进制文件 rsp = self.request_post(interface, body=body, params=params, timeout=timeout, headers=headers) if not isinstance(rsp, bytes): return rsp # 指定下载路径 file_path = os.path.join(save_dir, filename) if not os.path.exists(save_dir): os.makedirs(save_dir) # 保存文件 with open(file_path, 'wb') as f: f.write(rsp) print("文件保存成功：" + file_path) return file_path @property def response(self): """ 最后一次请求的实例对象 """ return self._response @property def response_header(self): """ 记录最后一次请求的响应头 """ return self._response.headers @property def response_status_code(self): """ 记录最后一次请求的响应码 """ return self._response.status_code
