略略略
python requests模块

目录

1.requests介绍

虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。

Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。

requests 的底层实现其实就是 urllib3

Requests的文档非常完备，中文文档也相当不错。Requests能完全满足当前网络的需求，支持Python 2.6—3.5，而且能在PyPy下完美运行。

开源地址：https://github.com/kennethreitz/requests

2.安装方式

利用pip3安装：

pip3 install requests

3.常用请求

3.1 GET请求

# 1.无参数实例
import requests
ret = requests.get('https://www.baidu.com/')
# 也可以这么写：
ret = requests.request("get",'https://www.baidu.com')

# 完整url
print(ret.url)
# 查看响应内容，response.text返回的是unicode格式的数据 
print(ret.text)
# 查看请求头
print(ret.headers)
# 查看响应头部字符编码
print(ret.encoding)
# 查看响应内容，response.centent返回的字节流数据
print(ret.content)
# 查看响应码
print(ret.status_code)


# 2.有参数实例
import requests
payload = {"key1":"value1","key2":"value2"}
# params接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不需要urlencode()
ret = requests.get("http://httpbin.org/get",params=payload)
print(ret.url)
print(ret.text)

也可以添加headers，传入headers参数来增加请求头的headers信息。

import requests
payload = {"key1":"value1","key2":"value2"}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

ret = requests.get("http://httpbin.org/get",headers=headers,params=payload)
print(ret.text)
print(ret.content)
print(ret.url)
print(ret.encoding)
print(ret.status_code)

  • 使用ret.text时，Requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。

  • 使用ret.content时，返回的是服务器响应数据的原始二进制字节流，可以用来保存图片等二进制文件。

3.2 POST请求

# 1.基本post实例
import requests
payload = {"key1":"value1","key2":"value2"}
ret = requests.post("http://httpbin.org/post",data=payload)
print(ret.text)
print(ret.url)
# 反序列化，将json转换为字典
print(ret.json())


# 2.发送请求头和数据实例
import requests
import json
url = "https://www.baidu.com/"
payload = {"some" : "data"}
headers = {"Content-Type": "application/json"}

ret = requests.post(url,data=json.dumps(payload),headers=headers)
print(ret.text)
print(ret.cookies)
print(ret.url)

# 3.更复杂的例子
import requests
formdata = {
    "type" : "AUTO",
    "i" : "I love python",
    "doctype" : "json",
    "xmlVersion" : "1.8",
    "keyform" : "fanyi.web",
    "ue" : "UTF-8",
    "action" : "FY-BY-ENTER",
    "typoResult" : "true"
}

url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
ret = requests.post(url,data=formdata,headers=headers)
print(ret.text)
# 如果是json文件可以直接显示(json格式用双引号引起来)
print(ret.json())

运行结果：
{"type":"EN2ZH_CN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"I love python","tgt":"我喜欢python"}]]}

{'type': 'EN2ZH_CN', 'errorCode': 0, 'elapsedTime': 0, 'translateResult': [[{'src': 'I love python', 'tgt': 
'我喜欢python'}]]}

3.3 其他请求

requests.get(url,params=None,**kwargs)
requests.post(url,data=None,json=None,**kwargs)
requests.put(url,data=None,**kwargs)
requests.head(url,**kwargs)
requests.delete(url,**kwargs)
requests.patch(url.data=None,**kwargs)
requests.options(url,**kwargs)

# 以上方法均是在此方法的基础上构建
requests.request(method,url,**kwargs)

requests.request() 参数

  • method：提交方式 get/post
  • url：提交地址。
  • params：在URL上传递的参数，GET形式传递到后台，例如向http://httpbin.org/get上传数据。
# params:
import requests
request = requests.request(
    method = "GET",
    url = "http://httpbin.org/get",
    params = {"key1" : "value1", "key2" : "value2"}
)
print(request.url)
print(request.headers)
print(request.text)
  • data：在请求体里面传递的数据，后面可以是字典，字节等数据类型。
# data:
import requests
request = requests.request(
    method = "POST",
    url = "http://httpbin.org/post",
    data = "user=zhang&pwd=123456"
)
print(request.url)
print(request.headers)
print(request.text)
  • json：在请求体里面传递数据，把整体序列化成一个大字符串,字典中嵌套字典的话用JSON。
# json:
import requests
request = requests.request(
    method = "POST",
    url = "http://httpbin.org/post",
    json = {"key1":"value1","key2":"value2"}
)
print(request.url)
print(request.text)
print(request.headers)

3.4 代理(proxies参数)

如果需要使用代理，你可以通过为任意请求方法提供 proxies 参数来配置单个请求：

import requests
# 根据协议类型，选择不同的代理
proxies = {
    "http" : "http://12.34.56.79:9527",
    "https" : "http://12.34.56.79:9527",
}

ret = requests.get("http://www.baidu.com",proxies=proxies)
print(ret.text)

# 也可以通过本地环境变量HTTP_PROXY和HTTPS_PROXY来配置代理：
export HTTP_PROXY="http://12.34.56.79:9527"
export HTTPS_PROXY="http://12.34.56.79:9527"

3.5 私密代理验证（特定格式）和Web客户端验证（auth 参数）

urllib2 这里的做法比较复杂，requests只需要一步：

  • 私密代理
import requests
# 如果代理需要使用HTTP basic Auth，可以使用下面这种格式：
proxy = {"http" : "mr_mao_hacker:sffqry9r@61.158.163.130:16816"}
ret = requests.get("http://www.baidu.com",proxies=proxy)
print(ret.text)
  • web客户端验证
    如果是Web客户端验证，需要添加 auth = (账户名, 密码)
import requests
auth = ("test" , "123456")
ret = requests.get("http://192.168.172.101",auth=auth)
print(ret.text)
print(ret.status_code)

3.6 Cookies 和 Sission

cookies

如果一个响应中包含了cookie，那么我们可以利用 cookies参数拿到：

import requests
ret = requests.get("http://www.baidu.com")
# 返回cookieJar对象：
cookiejar = ret.cookies
# 将cookieJar转为字典：
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiejar)
print(cookiedict)

运行结果：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
{'BDORZ': '27315'}

session

在 requests 里，session对象是一个非常常用的对象，这个对象代表一次用户会话：从客户端浏览器连接服务器开始，到客户端浏览器与服务器断开。

会话能让我们在跨请求时候保持某些参数，比如在同一个 Session 实例发出的所有请求之间保持 cookie 。

实现人人网登录

import requests
# 1.创建session对象，可以保存cookie值
session = requests.session()

# 2.处理headers
headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 3.需要登陆的用户名和密码
data = {"email" : "mr_mao_hacker@163.com", "password" : "alarmchime"}

# 4.发送附带用户名和密码的请求，并获取登录后的cookie，保存在session里
session.post("http://www.renren.com/PLogin.do",data=data)

# 5.session包含用户登录后的cookie值，可以直接访问那些登录后才可以访问的页面
response = session.get("http://www.renren.com/410043129/profile")

# 6.打印响应内容
print(response.text)

3.7 处理HTTPS请求 SSL证书验证

Requests也可以为HTTPS请求验证SSL证书：

  • 要想检查某个主机的SSL证书，你可以使用 verify 参数（也可以不写）
import requests
response = requests.get("https://www.baidu.com/",verify=True)
print(response.text)

# 也可以省略不写 
response = requests.get("https://www.baidu.com/")
print(response.text)

运行结果：

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type...
  • 如果SSL证书验证不通过，或者不信任服务器的安全证书，则会报出SSLError，据说 12306 证书是自己做的：
    来测试一下：
response = requests.get("https://www.12306.cn/mormhweb/")
print(response.text)

报错：SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)

如果我们想跳过 12306 的证书验证，把 verify 设置为 False 就可以正常请求了。

response = requests.get("https://www.12306.cn/mormhweb/",verify=False)
print(response.text)
posted on 2022-07-11 15:34  jiayou111  阅读(63)  评论(0)  编辑  收藏  举报

Copyright © 2024 jiayou111
Powered by .NET 9.0 on Kubernetes Powered By博客园