request-2高级用法

会话对象

会话对象让你能够跨请求保持某些参数。它也会在同一个session示例发出的所有请求之间保持cookie
cookie与session的区别
1、cookie数据存放在客户的浏览器上,session数据放在服务器上。
2、cookie不是很安全,别人可以分析存放在本地的cookie并进行cookie欺骗,考虑到安全应当使用session。
3、session会在一定时间内保存在服务器上。当访问增多,会比较占用你服务器的性能,考虑到减轻服务器性能方面,应当使用cookie。
4、单个cookie保存的数据不能超过4K,很多浏览器都限制一个站点最多保存20个cookie。
5、可以考虑将登陆信息等重要信息存放为session,其他信息如果需要保留,可以放在cookie中。

跨请求保持一些cookie

import requests
s = requests.Session()
r = s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
print(r.text)
r = s.get("http://httpbin.org/cookies")
print(r.text)

2次请求的内容一致

会话也可用来为请求方法提供缺省数据。这是通过为会话对象的属性提供数据来实现的

import requests
s = requests.Session()
s.auth = ('auth','pass')
s.headers.update({'x-test':'true'})
# 'x-test'和'x-test2'都会被发送
s.get('http://httpbin.org/headers',headers={'x-test2':'true'})

注意:就算使用会话,方法级别的参数也不会被跨请求保持

import requests
s = requests.Session()
r = s.get("http://httpbin.org/cookies", cookies={'from-my':'browser'})
print("第一个:", r.text)
r = s.get("http://httpbin.org/cookies")
print("第二个:", r.text)
### 会话作为前后文管理器

能确保 with 区块退出后会话能被关闭,即使发生了异常也一样。

with requests.Session() as s:
    r = s.get("http://httpbin.org/cookies/set/sessioncookie/123456789")
    print(r.text)
    r = s.get("http://httpbin.org/cookies")
    print(r.text)

请求与响应对象

任何时候进行了类似 requests.get() 的调用,你都在做两件主要的事情。

  • 其一,你在构建一个 Request 对象, 该对象将被发送到某个服务器请求或查询一些资源。
  • 其二,一旦 requests 得到一个从服务器返回的响应就会产生一个 Response 对象。该响应对象包含服务器返回的所有信息,也包含你原来创建的 Request 对象。如下是一个简单的请求,从 Wikipedia 的服务器得到一些非常重要的信息:
import requests
r = requests.get('http://en.wikipedia.org/wiki/Monty_Python')
print("响应头部信息: ", r.headers)
print("请求头部信息: ", r.request.headers)

准备的请求

SSL证书验证

Requests 可以为 HTTPS 请求验证 SSL 证书,就像 web 浏览器一样。SSL 验证默认是开启的,如果证书验证失败,Requests 会抛出 SSLError:
"按照教程中示例,我这并未提示SSLError类型错误

>>> requests.get('https://requestb.in')
"在该域名上我没有设置 SSL,所以失败抛出SSLError类型错误"
requests.exceptions.SSLError: hostname 'requestb.in' doesn't match either of '*.herokuapp.com', 'herokuapp.com'
"1.默认情况下verify设置为True,仅应用于验证主机的SSL证书。设置为False即忽略对SSL证书的验证"
requests.get('https://github.com', verify=True)
"2.指定证书的路径"
requests.get('https://github.com', verify='/path/to/certfile')
"3.将证书保持在对话中"
s = requests.Session()
s.verify = '/path/to/certfile'
  • 默认情况下, verify 是设置为 True 的。选项 verify 仅应用于主机证书。如1
  • 对于私有证书,你也可以传递一个 CA_BUNDLE 文件的路径给 verify。你也可以设置 # REQUEST_CA_BUNDLE 环境变量。如2、3

客户端证书

你也可以指定一个本地证书用作客户端证书,可以是单个文件(包含密钥和证书)或一个包含两个文件路径的元组

import requests
"一个包含两个文件路径的元组"
requests.get('https://kennethreitz.org', cert=('/path/client.cert','/path/client.key'))
"单个文件"
s = requests.Session()
s.cert = '/path/client.cert'

如果你指定了一个错误路径或一个无效的证书:

requests.get('https://kennethreitz.org', cert='/wrong_path/client.pem')
SSLError: [Errno 336265225] _ssl.c:347: error:140B0009:SSL routines:SSL_CTX_use_PrivateKey_file:PEM lib

注意:本地证书的私有 key 必须是解密状态。目前,Requests 不支持使用加密的 key。

CA证书

Requests 默认附带了一套它信任的根证书,来自于 Mozilla trust store。然而它们在每次 Requests 更新时才会更新。这意味着如果你固定使用某一版本的 Requests,你的证书有可能已经 太旧了。
从 Requests 2.4.0 版之后,如果系统中装了 certifi 包,Requests 会试图使用它里边的 证书。这样用户就可以在不修改代码的情况下更新他们的可信任证书。
为了安全起见,我们建议你经常更新 certifi!

响应体内容工作流

"默认情况下,当你进行网络请求后,响应体会立即被下载。你可以通过 stream 参数覆盖这个行为,推迟下载响应体直到访问 Response.content 属性:"
r = requests.get('http://httpbin.org/get', stream=True)
print(r.content)

保持活动状态(持久连接)

好消息——归功于 urllib3,同一会话内的持久连接是完全自动处理的!同一会话内你发出的任何请求都会自动复用恰当的连接!

注意:只有所有的响应体数据被读取完毕连接才会被释放为连接池;所以确保将 stream 设置为 False 或读取 Response 对象的 content 属性

流式上传

Requests支持流式上传,这允许你发送大的数据流或文件而无需先把它们读入内存。要使用流式上传,仅需为你的请求体提供一个类文件对象即可:

with open('massive-body') as f:
    requests.post('http://some.url/streamed', data=f)

类文件对象,file-like对象,可以像文件对象一样操作
socket对象、输入输出对象(stdin、stdout)都是类文件对象

块编码请求

post多个分块编码的文件

你可以在一个请求中发送多个文件。例如,假设你要上传多个图像文件到一个 HTML 表单,使用一个多文件 field 叫做 "images":

import requests,sys
home_dir=sys.path[1]
url1 = "https://dealer2.autoimg.cn/dealerdfs/g13/M15/22/20/280x210_0_q87_autohomedealer__wKgH41l8Vs2AHMDIAAGEde4vSVM969.jpg"
url2 = "https://car3.autoimg.cn/cardfs/product/g29/M0B/C1/E9/1024x0_1_q87_autohomecar__ChcCSFwTdleADxGNAAZKawd52u8079.jpg"
with open(home_dir+"/data/foo.png", 'wb') as f:
    r = requests.get(url1)
    f.write(r.content)
with open(home_dir+"/data/bar.png", 'wb') as f:
    r = requests.get(url2)
    f.write(r.content)
url = "http://httpbin.org/post"
multiple_files = [
    ('images',(home_dir+'/data/foo.png',open(home_dir+'/data/foo.png','rb'),'image/png')),
    ('images',(home_dir+'/data/bar.png',open(home_dir+'/data/bar.png','rb'),'image/png'))
]
r = requests.post(url,files=multiple_files)
print(r.text)

事件挂钩

Requests有一个钩子系统,你可以用来操控部分请求过程,或信号事件处理。

import requests
def print_url(r,*args,**kwargs):
    print(r.url)
# 可用的钩子:response,
# 1.此例中钩子函数的key必须是response,不能指定为其他值,
# 2.字典指定必须在请求中。
# 通过字典 dict(response=函数) 给hooks请求参数为每个请求分配一个钩子函数,即hooks=dict(response=函数名) 
r = requests.get('http://httpbin.org', hooks=dict(response=print_url))

问题:除了response,有没有其他可用的钩子,没有查

自定义身份验证

流式请求

代理

socks

合规性

编码式

HTTP动词

定制动词

响应头连接字段

传输适配器

阻塞和非阻塞

Header排序

超时

posted on 2018-12-18 19:05  singleSpace  阅读(574)  评论(0编辑  收藏  举报