爬虫——Requests库初识
1.Requests是什么
首先Requests是HTTP库，在爬虫中用于请求的相关功能。
而且requests是python实现的最简单易用的HTTP库，建议爬虫使用requests库。
默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装。
2.Requests的使用
import requests response = requests.get('https://www.baidu.com') print(response.text) print(response.content) print(response.status_code) print(response.cookies) print(response..content.decode('utf-8'))
注意：如果直接response.text出现乱码，可使用response.content。
这样返回的数据格式其实是二进制格式，然后通过decode()转换为utf-8，这样就解决了通过response.text直接返回显示乱码的问题。
2.1 请求
requests里提供个各种请求方式：
import requests requests.post("http://httpbin.org/post") requests.put("http://httpbin.org/put") requests.delete("http://httpbin.org/delete") requests.head("http://httpbin.org/get") requests.options("http://httpbin.org/get")
基本的get请求
import requests response = requests.get('https://www.cnblog.com') print(response.text)
带参数的get请求
import requests response = requests.get('https://book.douban.com/subject_search?search_text=python&cat=1001') print(response.text)
另外，Requests模块允许使用params关键字传递参数，以一个字典来传递这些参数：
import requests data = { "search_text":"python", "cat":1001 } response = requests.get('https://book.douban.com/subject_search',params=data) print(response.url) print(response.text)
解析json
import requests import json response = requests.get("http://httpbin.org/get") print(type(response.text)) print(response.json()) # 返回的数据若不是json类型，会报错 print(json.loads(response.text)) print(type(response.json()))
从结果可以看出requests里面集成的json其实就是执行了json.loads()方法，两者的结果是一样的。
获取二进制数据
在上面提到了response.content，这样获取的数据是二进制数据，同样的这个方法也可以用于下载图片以及视频资源。
添加headers
有很多网站为了防止程序爬虫爬网站造成网站瘫痪，会需要携带一些headers头部信息才能访问，最长见的有user-agent参数。
如当我们直接通过requests请求知乎网站的时候，默认是无法访问的。
因为访问知乎需要头部信息，这个时候我们在谷歌浏览器里输入chrome://version,就可以看到用户代理，将用户代理添加到头部信息。
import requests headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.75 Safari/537.36" } response =requests.get("https://www.zhihu.com",headers=headers) print(response.text)
这样就可以正常的访问知乎了。
基本POST请求
通过在发送post请求时添加一个data参数，这个data参数可以通过字典构造成，这样对于发送post请求就非常方便。
import requests data = { "name":"eric", "age":22 } response = requests.post("http://httpbin.org/post",data=data) print(response.text)
同样的在发送post请求的时候也可以和发送get请求一样通过headers参数传递一个字典类型的数据
响应
我们可以通过response获得很多属性，例子如下：
import requests response = requests.get("http://www.baidu.com") print(type(response.status_code),response.status_code) print(type(response.headers),response.headers) print(type(response.cookies),response.cookies) print(type(response.url),response.url) print(type(response.history),response.history)
状态码判断
Requests还附带了一个内置的状态码查询对象
详见：https://www.cnblogs.com/zhaof/p/6915127.html
2.2requests高级用法
文件上传
实现方法为构造一个字典，然后通过files参数传递。
import requests files = {"files": open("girl.jpg","rb")} response = requests.post("http://httpbin.org/post", files=files) print(response.text)
获取cookie
import requests response = requests.get("http://www.baidu.com") print(response.cookies) for key,value in response.cookies.items(): print(key+"----"+value)
会话维持
cookie的一个作用就是可以用于模拟登陆，做会话维持
import requests s = requests.Session() # 实例化一个session对象,通过这个session对象访问 s.get('http://httpbin.org/cookies/set/number/123456') response = s.get('"http://httpbin.org/cookies') print(response.text)
证书验证
现在的很多网站都是https的方式访问，所以这个时候就涉及到证书的问题
有些网站默认的证书是不合法的，这样就会出现类似ssl.SSLError的错误提示
为了避免这种情况的发生可以通过将参数verify设置为False：verify=False
详见：https://www.cnblogs.com/zhaof/p/6915127.html
代理设置
import requests proxies= { "http":"http://127.0.0.1:9999", "https":"http://127.0.0.1:8888" } response = requests.get("https://www.baidu.com",proxies=proxies) print(response.text)
如果代理需要设置账户名和密码,只需要将字典更改为如下：
proxies = {
"http":"http://user:password@127.0.0.1:9999"
}
如果你的代理是通过sokces这种方式则需要pip install "requests[socks]"
proxies= {
"http":"socks5://127.0.0.1:9999",
"https":"sockes5://127.0.0.1:8888"
}
超时设置
通过timeout参数可以设置超时的时间
认证设置
如果碰到需要认证的网站可以通过requests.auth模块实现
import requests from requests.auth import HTTPBasicAuth response = requests.get("http://120.27.34.24:9001/",auth=HTTPBasicAuth("user","123")) print(response.status_code)
当然这里还有一种方式
import requests response = requests.get("http://120.27.34.24:9001/",auth=("user","123")) print(response.status_code)
异常处理
所有的异常都是在requests.excepitons中
