初识爬虫
@
一、requests库的安装
Win平台: win+R运行 cmd,执行
pip install requests
官方文档:https://docs.python-requests.org/zh_CN/latest/
我的是已经安装好的
安装成功后测试一下
import requests
r = requests.get("http://www.baidu.com")
print(r.text)
二、requests库的七个主要方法及简单使用
(1)七个方法
方法 | 说明 |
---|---|
requests.request() | 构造一个请求,支撑以下各方法的基础方法 |
requests.get() | 获取HTML网页的主要方法,对应于HTTP的GET |
requests.head() | 获取HTML网页头信息的方法,对应于HTTP的HEAD |
requests.post() | 向HTML网页提交POST请求的方法,对应于HTTP的POST |
requests.put() | 向HTML网页提交PUT请求的方法,对应于HTTP的PUT |
requests.patch() | 向HTML网页提交局部修改请求,对应于HTTP的PATCH |
requests.delete() | 向HTML页面提交删除请求,对应于HTTP的DELETE |
一般最常用到的方法是request(),get(),post()方法
(2)简单使用
1.request()方法
r = requests.request(method, url, **kwargs) # 构造一个请求,支撑以下各方法的基础方法
-
method : 请求方式,对应get/put/post等7种
-
url : 拟获取页面的url链接
-
**kwargs: 控制访问的参数,共13个
- method : 请求方式
r = requests.request('GET', url, **kwargs)
r = requests.request('HEAD', url, **kwargs)
r = requests.request('POST', url, **kwargs)
r = requests.request('PUT', url, **kwargs)
r = requests.request('PATCH', url, **kwargs)
r = requests.request('delete', url, **kwargs)
r = requests.request('OPTIONS', url, **kwargs)
- method : 请求方式
-
params : 字典或字节序列,作为参数增加到url中
访问控制参数,也就是第三个参数 kwargs 示例
import requests
kv1 = {'key1': 'value1', 'key2': 'value2'}
rs1 = requests.request('GET', 'http://python123.io/ws',params = kv1)
print(rs1.text)
rs2 = requests.request('POST', 'http://python123.io/ws',data = kv1)
print(rs2.text)
kv2 = {'key1': 'value1'}
rs3 = requests.request('POST', 'http://python123.io/ws', json=kv2)
print(rs3.text)
hd = {'user‐agent': 'Chrome/10'}
rs4 = requests.request('POST', 'http://python123.io/ws', headers=hd)
rs5 = requests.request('post','',cookies = '字典或cookieJar')
rs6 = requests.request('post','',auth = '元组')
fs = {'file':open('data.xls','rd')}
rs7= requests.request('POST','',files = fs) # 传输文件
rs8 = requests.request('GET','http://www.baidu.com',timeout = 10)
pxs = { 'http': 'http://user:pass@10.10.10.1:1234','https': 'https://10.10.10.1:4321' }
rs9 = requests.request('GET','http://www.baidu.com',proxies = pxs) # proxies 字典类型,设定访问代理服务器
参数 | 说明 |
---|---|
files | 字典类型,传输文件 |
timeout | 设定超时时间,秒为单位 |
proxies | 字典类型,设定访问代理服务器,可以增加登录认证 |
allow_redirects | True/False,默认为True,重定向开关 |
stream | True/False,默认为True,获取内容立即下载开关 |
verify | True/False,默认为True,认证SSL证书开关 |
cert | 本地SSL证书路径 |
2. get()方法
r = requests.get(url, params = None, **kwargs)
r = requests.get(url) # 获取HTML网页的主要方法,对应于HTTP的GET
r = requests.delete(url)
print(r.url)
参数 | 说明 |
---|---|
url | 拟获取页面的url链接 |
params | url 中的额外参数,字典或字节流格式,可选 |
**kwargs | 12个控制访问参数 |
3.head()方法 |
r = requests.head('http://httpbin.org/get') # 获取HTML网页头信息的方法,对应于HTTP的HEAD
print(r.headers)
4.post()方法
r = requests.post(url, data=None, json=None, **kwargs)
参数 | 说明 |
---|---|
url | 拟更新页面的url链接 |
data | 字典、字节序列或文件,Request的内容 |
json | JSON格式的数据,Request的内容 |
示例 |
payload = {'key1':'value1','key2':'value2'}
r = requests.post('http://httpbin.org/post',data=payload) # 向HTML网页提交POST请求的方法,对应于HTTP的POST
r = requests.post('http://httpbin.org/post',data='abc')
print(r4.text)
5.put()方法
r = requests.put(url, data=None, **kwargs)
r = requests.put('http://httpbin.org/put',data=payload) # 向HTML网页提`交PUT请求的方法,对应于HTTP的PUT
print(r.text)
6.patch()方法
r = requests.patch(url) # 向HTML网页提交局部修改请求,对应于HTTP`的PATCH
7.delete()方法
r = requests.delete(url, **kwargs)
r = requests.delete(url) # 向HTML页面提交删除请求,对应于HTTP的DELETE
url : 拟删除页面的url链接
三、requests库的两个重要对象
Response和Request
(1)Request
- r == response 返回一个包含服务器资源的response对象
- request 构造一个向服务器请求资源的request对象
- 从请求到响应的过程
(2)Response对象
Response对象包含服务器返回的所有信息,也包含请求的Request信息
属性 | 说明 |
---|---|
r.status_code | HTTP请求的返回状态,200表示连接成功,404表示失败 |
r.text | HTTP响应内容的字符串形式,即,url对应的页面内容 |
r.encoding | 从HTTP header中猜测的响应内容编码方式 |
r.apparent_encoding | 从内容中分析出的响应内容编码方式(备选编码方式) |
r.content | HTTP响应内容的二进制形式 |
有时候打印出来的网页内容是乱码,就像下面这样
所以需要理解Response的编码
r.encoding | 从HTTP header中猜测的响应内容编码方式 |
---|---|
r.apparent_encoding | 从内容中分析出的响应内容编码方式(备选编码方式) |
1)r.encoding:如果header中不存在charset,则认为编码为ISO‐8859‐1
2)r.text根据r.encoding显示网页内容
3)r.apparent_encoding:根据网页内容分析出的编码方式,可以看作是 r.encoding的备选
当我们把编码方式改变后打印出来的内容为
有以下l两种方式
r.encoding = 'utf-8' #直接改变编码
r.encoding = r.apparent_encoding #用r.encoding的备选
四、requests库的异常(Exception)
网络连接有风险,异常处理很重要
(1) Requests异常
异常 | 说明 |
---|---|
requests.ConnectionError | 网络连接错误异常,如DNS查询失败、拒绝连接等 |
requests.HTTPError | HTTP错误异常 |
requests.URLRequired | URL缺失异常 |
requests.TooManyRedirects | 超过最大重定向次数,产生重定向异常 |
requests.ConnectTimeout | 连接远程服务器超时异常 |
requests.Timeout | 请求URL超时,产生超时异常 |
(2)Response异常 | |
r.raise_for_status() | 如果不是200,产生异常 requests.HTTPError |
-- | -- |
**r.raise_for_status()在方法内部判断r.status_code是否等于200,不需要 | |
增加额外的if语句,该语句便于利用try‐except进行异常处理** |
五、HTTP协议
(1)HTTP是一个基于“请求与响应”模式的、无状态的应用层协议
- HTTP协议采用URL作为定位网络资源的标识,URL格式如下:
- http://host[:port][path]
- host: 合法的Internet主机域名或IP地址
- port: 端口号,缺省端口为80
- path: 请求资源的路径
URL是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源
(2)HTTP 对资源的操作
通过URL和命令管理资源,操作独立无状态,网络通道及服务器成为了黑盒子
六、爬取网页通用代码框架
import requests
def getHTMLText(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status() # 如果状态不是200,引发HTTPError异常
r.encoding = r.apparent_encoding
return r.text
except:
return '产生异常'
if __name__ == '__main__':
url = input('请输入url地址:')
print(getHTMLText(url))
七、网络爬虫的限制
Robots协议
- Robots(Robots Exclusion Standard),网络爬虫排除标准
作用:网站告知网络爬虫哪些页面可以抓取,哪些不行。
形式:在网站根目录下的robots.txt文件
案例
https://www.jd.com/robots.txt
http://www.baidu.com/robots.txt
http://www.qq.com/robots.txt
http://news.qq.com/robots.txt
#注释,代表所有,/代表根目录*
Robots协议的使用
网络爬虫:自动或人工识别robots.txt,再进行内容爬取
约束性:Robots协议是建议但非约束性,网络爬虫可以不遵守,但存在法律风险
小提示:
爬虫作为一种计算机技术决定了它的中立性,爬虫本身在法律上并不被禁止,如果爬虫采集的是公开的数据则是可以的。当然操作不当,就可能涉及违法甚至是犯罪的风险。所以要合理使用,规范爬取。
本文来自博客园,作者:Aurora*,转载请注明原文链接:https://www.cnblogs.com/lang12/p/15377703.html