爬虫与Python：（三）基本库的使用——3.网络请求库之request使用介绍

Python爬虫中，除了urlib()外，还有一个使用的比较多的HTTP请求库——requests。这个库也是常用于HTTP请求模块，它使用Python语言编写，可以方便的对网页进行爬取，是学习Python比较好的HTTP请求模块。

Python3中没有默认安装requests库，在前一篇文章中，已经介绍了requests的安装。其中，requests库的pip安装命令为 pip install requests 。

接下来，我们来看看requests库的7个主要方法，如下表所示：

方法	解释
requests.request()	构造一个请求，支持以下各种方法
requests.get()	获取HTML的主要方法
requests.head()	获取HTML头部信息的主要方法
requests.post()	向HTML网页提交POST请求的方法
requests.put()	向HTML网页提交PUT请求的方法
request.patch()	向HTML提交局部修改请求
request.delete()	向HTML提交删除请求

1. requests.get()

requests.get()方法时常用方法之一，用户获取HTML。我们可以通过该方法链接其他方法，格式如下：

res = requests.get(url , params ,**kwargs)

参数说明见下表：

参数	描述
url	需要爬取的网站地址
params	URL中的额外参数，字典或字节流格式，为可选参数。
**kwargs	控制访问参数，具体详见下表。

**Kwargs的参数

参数名称	描述
params	字典或字节列，作为参数增加到url中，使用这个参数可以把一些键值对以?key=value1&key2=value2的模式增加到url中。
data	字典、列表或元组的字节的文件，作用是向服务器提交资源，作为requests的内容。与params不同的是，data提交的数据并不放在URL链接中，而是放在URL链接对应位置的地方作为数据存储。它也可以接受一个字符串对象。
json	JSON格式的数据，json是HTTP中经常使用的数据格式，作为内容部分可以向服务器提交。例如： kv= {'key1':'value1'} r = requests.request('POST',"http://python123.io/ws",json=kv)
headers	字典是HTTP的相关语，对应了向某URL访问时发起的HTTP的头字段，可以用字段来定义HTTP访问的HTTP头，可以用来模拟任何想模拟的浏览器对URL发起访问。例如： hd = {'user-agent':'Chrome/10'} r = requests.requests('POST','http://python123.io/ws',headers=hd)
cookies	字典或CookieJar,指的是从HTTP中解析Cookie。
auth	元组，用来支持HTTP认证功能
files	字典，是用来向服务器传输文件时使用的字段。例如  fs = {'files':open('data.txt','rb')}
timeout	用于设定超时时间，单位为秒，当发起一个GET请求时可以设置一个timeout时间，如果timeout时间内请求内容没有返回，将产生一个timeout的异常。
proxies	字典，用来设置访问代理服务器。
allow_redirects	开关，表示是否允许对URL进行重定向，默认为True
stream	开关，指是否对获取内容进行立即下载，默认为True。
verify	开关，用于认证SSL证书，默认为True。
cert	用于设置保存本地SSL证书路径。

 前面的示例代码是构造一个服务器请求requests，返回一个包含服务器资源的Response对象。其中Request对象有以下属性，如表3-3所示。

Response对象的属性

属性	说明
status_code	HTTP请求的返回状态，若为200表示请求成功
text	HTTP响应内容的字符串形式，即返回的页面内容
encoding	从HTTP header中猜测的相应内容编码方式
apparent_encoding	从内容中分析
content	HTTP响应内容的二进制形式

 示例代码如下：

import  requests

url = 'https://www.baidu.com/'4 r = requests.get(url)
print(r.status_code)
print(r.encoding)
print(r.apparent_encoding)
print(r.text)

运行结果如下图：

 

2.requests库的异常

requests库有时会产生异常，如网络连接错误、HTTP错误异常、重定向异常、请求URL超时异常等。这里可以利用r.raise_for_status()语句来捕捉异常，该语句在方法内部判断r.status_code是否等于200，如果不等于，则抛出异常，示例代码如下。

import requests

url = 'https://www.baidu.com/' 
 4 try:
    r = requests.get(url , timeout=30)  # 请求超时时间为30s
    r.raise_for_status()    # 如果状态不是200则引发异常
    r.encoding = r.apparent_encoding # 配置编码
    print(r.text)
    print(1)
except:
    print("产生异常")

3. requests.head()

通过requests.head()方法，可以获取地址的header头部信息，示例代码如下：

import requests

url = 'https://www.baidu.com/'4 r = requests.head(url)
print(r.headers)

4. requests.post()

requests.post()反复一般用于表单提交，向指定URL提交数据，可提交字符串、字典、文件等数据，示例代码如下：

import  requests

# 向url post 一个字典
payload = {"key1":"value1","key2":"value2"}
r = requests.post("http://httpbin.org/post",data=payload) # 这里的url 并非真实的请求
print(r.text)

# 向url post 一个字符串，自动编码为data
r = requests.post("http://httpbin.org/post",data="hello") # 这里的url 并非真实的请求
print(r.text)

5. requests.put()和requests.patch()

requests。patch()和reques.put()类似，两者不同的是：当patch时，仅需提交修改的字段，但put时，必须将20个字段一起提交到URL,未提交的字段将会删除；patch的优点是节省网络带宽，示例代码如下：

import  requests

# requests.put
payload = {"key1":"value1","key2":"value2"}
r = requests.put("http://httpbin.org/put",data=payload) # 这里的url 并非真实的请求
print(r.text)

# requests.post
payload = {"key1":"value1","key2":"value2"}
r = requests.patch("http://httWpbin.org/patch",data=payload) # 这里的url 并非真实的请求
print(r.text)