Requests基础内容
一、引入模块
1 | import requests |
二、普通请求(request)
网页6种请求方式 | |||||
post(常用) | get(常用) | put | delete | head | options |
1 2 | r = requests.get( 'http://www.baidu.com' ) #get请求方式 r = requests.post( 'http://www.baidu.com' ) #post请求方式 |
get请求:我们每次点击网页都相当于对服务器发送了一次get请求,所以get请求在requests中比post更常用,它可以带参数请求API链接或搜索内容。
post请求:发送表单内容到服务器,常用于登录网页
三、带参数请求
1 2 | r = requests.get(url, params = {字典}, * * kwargs) #params为get请求要传递的参数 r = post(url, data = {字典},json = {字典}, * * kwargs) #data(json)为post请求要提交的参数,data和json两者提交到服务器的格式不同 |
params和data(json)分别为get和post将要提交的参数
**kwargs用于接受其它请求参数,比如headers,cookies等。(这部分属于请求的附加验证信息,一般大型网站会需要带上这部分信息参数能访问,这部分内容在后面会进行展开)
举个例子:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | # 美团美食栏目内容请求API url = 'http://www.meituan.com/meishi/api/poi/getMerchantComment' #设置请求头信息,模拟浏览器访问 headers = { 'User-Agent' : 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1' , 'Host' : 'www.meituan.com' , 'Referer' : 'http: // www.meituan.com / meishi/1653468/' } # 请求参数包括地区,起始页,最大信息量,默认分类 data = { 'id' : '1653468' , 'userId' : 0 , 'offset' : 0 , 'pageSize' : 10 , 'sortType' : 1 } # 发送data请求 response_obj = requests.get(url, params = data, headers = headers) # 打印输出response_obj print (response_obj)<br>>>><br><Response [ 200 ]> |
四、读取响应内容
举个例子:
1 2 3 4 5 6 7 8 9 10 11 12 13 | import requests URL = 'http://ip.taobao.com/service/getIpInfo.php' # 淘宝IP地址库API try : r = requests.get(URL, params = { 'ip' : '8.8.8.8' }, timeout = 1 ) r.raise_for_status() # 如果响应状态码不是 200,就主动抛出异常 except requests.RequestException as e: print (e) else : result = r.json() print ( type (result), result, sep = '\n' ) >>> < class 'dict' > { 'code' : 0 , 'data' : { 'country' : '美国' , 'country_id' : 'US' , 'area' : ' ', ' area_id ': ' - 1 ', ' region ': ' ', ' region_id ': ' - 1 ', ' city ': ' ', ' city_id ': ' - 1 ', ' county ': ' ', ' county_id ': ' - 1 ', ' isp ': ' Level3 ', ' isp_id ': ' 200053 ', ' ip ': ' 8.8 . 8.8 '}} |
五、超时与异常
超时等待:
timeout:用于设置服务器响应等待时间,如果在规定时间内服务没有响应,则抛出异常
举个例子:
1 2 3 4 | requests.get( 'http://github.com' , timeout = 0.001 ) Traceback (most recent call last): File "<stdin>" , line 1 , in <module> requests.exceptions.Timeout: HTTPConnectionPool(host = 'github.com' , port = 80 ): Request timed out. (timeout = 0.001 ) |
异常处理:
异常值 | 说明 |
ConnectionError | 网络问题 |
HTTPError | 非200状态码 |
Timeout | 请求超时 |
TooManyRedirects | 超出最大重定向次数 |
所有Requests显式抛出的异常都继承自requests.exceptions.RequestException |
六、其它高级请求参数
参数 | 说明 |
cookies=字典 | 设置cookies |
proxy=列表 | 设置代理 |
headers=字典 | 设置请求头 |
stream=布尔 | 流式下载或上传 |
cert=路径 | 设置验证设置为False,也可以忽略验证SSL证书 |
timeout=浮点值 | 设置超时响应 |
verify | 为HTTPS请求验证SSL证书 |
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步