爬虫-requests模块的使用

相比于urllib模块，requests模块使用起来更简洁方便。requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。requests的底层实现其实就是urllib3。

一、安装

sudo pip3 install requests

二、基本GET请求（headers参数和params参数）

最基本的GET请求可以直接使用get方法

import requests

response = requests.get("https://www.baidu.com/")

# 也可以写成
# response = requests.request("get", "https://www.baidu.com/")

添加headers和查询参数

　　如果想添加headers，可以传入headers参数来增加请求头中的headers信息。如果要将参数放在url中传递，可以利用 params 参数，并且url后面的'?‘可以不加

import requests

kw = {'wd':'长城'}

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
response = requests.get("http://www.baidu.com/s", params = kw, headers = headers)

# 查看响应内容，response.text 返回的是Unicode格式的数据
print(response.text)

# 查看响应内容，response.content返回的字节流数据
print(respones.content)

# 查看完整url地址
print(response.url)

# 查看响应头部字符编码
print(response.encoding)

# 查看响应码
print(response.status_code)

使用response.text 时，requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。使用response.content 时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。

三、基本POST请求（data参数）

最基本的POST请求，可以直接使用post方法

import requests

resp = requests.post('https://www.baidu.com/'，data = data)

传入data数据，示范一个有道翻译的例子

import requests

formdata = {
    'i':'I love you',
    "from":'AUTO',
    "to":'AUTO',
    "smartresult":"dict",
    "client":"fanyideskweb",
    "doctype":"json",
    "version":"2.1",
    "keyfrom":"fanyi.web",
    "action":"FY_BY_REALTlME"

}

url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"

headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}

response = requests.post(url, data = formdata, headers = headers)
print(response.text)

# 如果是json文件可以直接显示,返回的是dict类型
print(response.json())

发送json类型的数据

利用data参数传递，但是数据需要序列化成Json字符串，同时传入headrs中必须指明‘Content-Type':’application/json‘

import requests
import json
url = 'https://openapi.vmall.com/mcp/offlineshop/getShopList'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36',
    'Content-Type':'application/json'
}
# 将json类型的数据转换成字典类型的数据
data = {
"portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20
}

# 调用json.dumps()方法，将数据以json格式传递
resp = requests.post(url=url, headers=headers, data=json.dumps(data))

print(resp.text)

利用json参数传递dict类型数据，不需要提前转换成json字符串

import requests

url = 'https://openapi.vmall.com/mcp/offlineshop/getShopList'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
}
json = {"portal":2,"lang":"zh-CN","country":"CN","brand":1,"province":"山西","city":"太原","pageNo":1,"pageSize":20}

# 直接给post方法中的json参数赋值，赋dict类型的数据
response = requests.post(url=url, headers=headers, json=json)
print(response.text)

传入json参数时，会自动将传入的数据进行json序列化，同时headers中设置'Content-Type'为‘application/json’。

四、上传文件（files）

post方式上传文件可以利用files参数，通过这个参数来表明使用的是multipart/form-data编码。files参数是一个dict类型，它可以是{‘file’:文件对象}，也可以是{'file':文件元组}。文件元组可以是二元的（文件名，文件对象），三元的（文件名，文件对象，MIME类型），四元的（文件名，文件对象，MIME类型，dict类型的headers）

import requests

#打开图片文件
with open('test.jpg','rb') as f:
    file_data = f.read()

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

#files参数dict的值为文件对象
resp1 = requests.post('https://httpbin.org/post',files = {'file':file_data},headers=headers)

#二元元组
resp2 = requests.post('https://httpbin.org/post',files = {'file':('test.jpg',file_data)},headers=headers)

#三元元组
resp3 = requests.post('https://httpbin.org/post',files = {'file':('test.jpg',file_data,'image/jpeg')},headers=headers)

#四元元组
resp4 = requests.post('https://httpbin.org/post',files = {'file':('test.jpg',file_data,'image/jpeg',{'Expires': '0'})},headers=headers)

print(resp1.text)
print(resp2.text)
print(resp3.text)
print(resp4.text)

五、请求超时设置（timeout）

可通过timeout参数设置请求的超时时间，如果为浮点型，则表示总的请求超时时间，超时则报异常。也可以通过元组的形式分别设置连接超时时间和读取超时时间，timeout=（connect timeout,read timeout）。

import requests

#设置总的超时时间4.0秒
resp = requests.request('GET','https://httpbin.org/get',timeout=4.0)

#设置连接超时时间2.0秒，读取超时时间4.0秒
#resp = requests.request('GET','https://httpbin.org/get'，timeout=(2.0,4.0))

#将返回的json数据转换成dict类型
print(resp.json()）

六、代理（proxies）

如果需要使用代理，你可以为任意请求方法提供 proxies 参数来配置单个请求：

import requests

# 根据协议类型，选择不同的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "https://12.34.56.79:9527",
}

resp = requests.get("https://www.baidu.com", proxies = proxies)
print(resp.text)

私密代理验证（特定格式）

import requests

# 如果代理需要使用HTTP Basic Auth，可以使用下面这种格式：
proxy = { "http": "mr_mao_hacker:sffqry9r@61.158.163.130:16816" }

resp = requests.get("http://www.baidu.com", proxies = proxy)
print(resp.text)

七、Web客户端验证（auth参数）

import requests

#添加 auth = (账户名, 密码)
auth=('test', '123456')

resp = requests.get('http://192.168.199.107', auth = auth)
print(resp.text)

八、Cookies和Session

Cookies：

如果一个响应中包含了cookie，那么我们可以利用 cookies参数拿到

由于requests具有自动处理重定向的能力，要想获取某个请求（比如模拟登录）返回的cookie，需要将allow_redirects参数设为False

import requests

url = 'https://login2.scrape.center/login'
form_data = {
    'username': 'admin',
    'password': 'admin'
}
resp = requests.post(url, data=form_data, allow_redirects=False)
cookies = resp.cookies
print(cookies)

# 携带cookies访问
resp = requests.get('https://login2.scrape.center/', cookies=cookies)
print(resp.url)

Session

支持使用with上下文操作
在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。

会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

import requests

# 1. 创建session对象，可以保存Cookie值
ssion = requests.session()

# 2. 处理 headers
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
ssion.headers.update(headers) # 修改会话的headers

# 3. 需要登录的用户名和密码
data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}  

# 4. 发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)

# 5. ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
resp = ssion.get("http://www.renren.com/410043129/profile")

# 6. 打印响应内容
print(resp.text)

设置headers和proxies时，最好执行：

headers = {
    'User-Agent':'xxx',
    'Proxy-Tunnel':str(random.randint(1,10000))
}

sess.headers.update(headers) # 设置请求头
# sess.get(url,headers={'xx':'xxx'}),通过这种方式设置的headers,仅在该次请求时update到sess.headers中

sess.proxies = proxies # 设置代理

cookies操作

sess = requests.session()

resp = sess.get('https://www.baidu.com')
# 获取cookies
print(sess.cookies)

# 设置cookies
sess.cookies.set('cookie_name', 'cookie_val', domain='.baidu.com')
print(sess.cookies)

九、HTTPS请求SSL证书验证（verify参数）

要想检查某个主机的SSL证书，你可以使用 verify 参数（也可以不写），默认verify = True表示开启验证

import requests

resp = requests.get("https://www.baidu.com/", verify=True)

# 也可以省略不写
# resp = requests.get("https://www.baidu.com/")
print(resp.text)

关闭验证，只需要将verify参数设为False

import requests

resp = requests.get("https://www.12306.cn/mormhweb/", verify = False)
print(resp.text)

posted @ 2021-01-14 21:36 eliwang 阅读(252) 评论(0) 编辑收藏举报

刷新页面返回顶部

eliwang

学无止境的小渣渣