requests

目录

• 1.安装
• 2.引入
• 3.请求方式
  • 3.1 GET请求
    • 3.1.1 基本请求
    • 3.1.2 GET请求的主要参数
  • 3.2 POST请求
    • 3.2.1 使用POST请求模拟登陆
• 4.响应
  • 4.1 响应参数
• 5.其他

requests官方中文文档：https://requests.readthedocs.io/zh_CN/latest/

1.安装

pip install requests

2.引入

import requests
# 发送请求获取响应内容
response = request.get('http://www.baidu.com')

3.请求方式

3.1 GET请求

• HTTP默认的请求方法就是GET
  • 没有请求体
  • 数据必须在1K之内
  • GET请求数据会暴露在浏览器的地址栏中
• GET请求常用的操作：
  • 在浏览器的地址栏中直接给出URL，那么就一定是GET请求
  • 点击页面上的超链接也一定是GET请求
  • 提交表单时，表单默认使用GET请求，但可以设置为POST

3.1.1 基本请求

import requests

# 发送请求获取响应内容
response = request.get('http://www.baidu.com')
print(response.text)

3.1.2 GET请求的主要参数

• url

请求资源的路径

• headers

User-Agent：在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容

Content-Type：提交数据的类型

• cookies

携带请求的cookies信息

• params

携带请求参数，以字典形式传入

import requests

url = 'http://www.baidu.com'
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36 chrome-extension'
}
cookies = {
	'user_session': 'wGMHFJKgDcmRIVvcA14_Wrt_3xaUyJNsBnPbYzEL6L0bHcfc'
}
params = {
  'kw': '美女'
}

# 发送请求获取响应内容
response = request.get(url=url, headers=headers, cookies=cookies, params=params)
print(response.text)

3.2 POST请求

• 数据不会出现在地址栏中
• 数据的大小没有上限
• 有请求体
• 请求体中如果存在中文，会使用URL编码

备注：requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

3.2.1 使用POST请求模拟登陆

• 分析登陆流程
  • 浏览器输入https://github.com/login
  • 然后输入错误的账号密码，抓包
  • 发现登录行为是post提交到：https://github.com/session
  • 而且请求头包含cookie
  • 而且请求体包含：
    • commit:Sign in
    • utf8:✓
    • authenticity_token:lbI8IJCwGslZS8qJPnof5e7ZkCoSoMn6jmDTsL1r/m06NLyIbw7vCrpwrFAPzHMep3Tmf/TSJVoXWrvDZaVwxQ==
    • login:zj4202
    • password:123
• 分析操作流程
  • 先GET：https://github.com/login拿到初始cookie与authenticity_token
  • 返回POST：https://github.com/session， 带上初始cookie，带上请求体（authenticity_token，用户名，密码等）
  • 最后拿到登录cookie

import requests
import re

session=requests.session()
# 第一次请求
r1=session.get('https://github.com/login')
authenticity_token=re.findall(r'name="authenticity_token".*?value="(.*?)"',r1.text)[0] #从页面中拿到CSRF TOKEN

# 第二次请求
data={
    'commit':'Sign in',
    'utf8':'✓',
    'authenticity_token':authenticity_token,
    'login':'zj4202@gmail.com',
    'password':'123456'
}
r2=session.post('https://github.com/session',
             data=data,
             )
# 第三次请求
r3=session.get('https://github.com/settings/emails')
print('zj4202@gmail.com' in r3.text) #True
# requests.session()自动帮我们保存cookie信息

4.响应

4.1 响应参数

import requests

# 发送请求获取响应内容
response = request.get('http://www.baidu.com'

• response.url：请求的url
• response.headers：响应头
• response.status_code：响应状态码
• response.text：响应文本
• response.content：响应二进制流，如图片，音频，视频等
• response.json()：json数据
• response.cookies：获取响应中的cookies
• response.cookies.get_dict()：字典格式cookie
• response.cookies.items()：字典格式cookie
• response.encoding：获取编码格式
• response.close()：关闭响应

5.其他

• SSL Cert Verification

# 证书验证(大部分网站都是https)
import requests
respone=requests.get('https://www.12306.cn') #如果是ssl请求,首先检查证书是否合法,不合法则报错,程序终端

# 改进1:去掉报错,但是会报警告
import requests
respone=requests.get('https://www.12306.cn',verify=False) #不验证证书,报警告,返回200
print(respone.status_code)

# 改进2:去掉报错,并且去掉警报信息
import requests
from requests.packages import urllib3
urllib3.disable_warnings() #关闭警告
respone=requests.get('https://www.12306.cn',verify=False)
print(respone.status_code)

# 改进3:加上证书
# 很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书
# 知乎\百度等都是可带可不带
# 有硬性要求的,则必须带，比如对于定向的用户,拿到证书后才有权限访问某个特定网站
import requests
respone=requests.get('https://www.12306.cn',
                     cert=('/path/server.crt',
                           '/path/key'))
print(respone.status_code)

• 使用代理 使用代理demo

# 官网链接: http://docs.python-requests.org/en/master/user/advanced/#proxies

# 代理设置:先发送请求给代理,然后由代理帮忙发送(封ip是常见的事情)
import requests
proxies={
    'http':'http://egon:123@localhost:9743',#带用户名密码的代理,@符号前是用户名与密码
    'http':'http://localhost:9743',
    'https':'https://localhost:9743',
}
respone=requests.get('https://www.12306.cn', proxies=proxies)

print(respone.status_code)

#支持socks代理,安装:pip install requests[socks]
import requests
proxies = {
    'http': 'socks5://user:pass@host:port',
    'https': 'socks5://user:pass@host:port'
}
respone=requests.get('https://www.12306.cn', proxies=proxies)

print(respone.status_code)

• 超时设置

# 超时设置
# 两种超时:float or tuple
# timeout=0.1 #代表接收数据的超时时间
# timeout=(0.1,0.2)#0.1代表链接超时  0.2代表接收数据的超时时间

import requests
respone=requests.get('https://www.baidu.com', timeout=0.0001)

• 异常处理

# 异常处理
import requests
from requests.exceptions import * #可以查看requests.exceptions获取异常类型

try:
    r=requests.get('http://www.baidu.com',timeout=0.00001)
except ReadTimeout:
    print('===:')
# except ConnectionError: #网络不通
#     print('-----')
# except Timeout:
#     print('aaaaa')

except RequestException:
    print('Error')

• 上传文件

import requests 
files={'file':open('a.jpg' , 'rb')} respone=requests.post('http://httpbin.org/post',files=files) print(respone.status_code)