Requests库入门
1.Requests库的7个主要方法:
requests.request() | 构造一个请求,支撑一下各种方法的基础 |
requests.get() | 获取HTML网页的主要方法,对应于HTTP的GET |
requests.head() | 获取HTML网页头信息的方法,对应于HTTP的HEAD |
requests.post() | 向HTML网页提交POST请求的方法,对应于HTTP的POST |
requests.put() | 向HTML网页提交PUT请求的方法,对应于HTTP的PUT(覆盖原URL位置的资源) |
requests.patch() | 向HTML网页提交局部修改请求,对应于HTTP的PATCH |
requests.delete() | 向HTML页面提交删除请求,对应于HTTP的DELETE |
2.requests.get(url,params=None,**kwargs)
url:拟获取页面的url链接 params:url中的格外参数,字典或字节流格式,可选
**kwargs:12个控制访问参数(params,data,json,headers,cookies,auth,files,timeout,proxies,allow_resirects,stream,verify,cert)
3.Response对象的属性:
r.status_code | HTTP请求的返回方式,200表示连接成功,404表示失败 |
r.text | HTTP响应内容的字符串形式,即:url对应的页面内容 |
r.encoding | 从HTTP header中猜测的响应内容编码方式 |
r.apparent_encoding | 从内容中分析出的响应编码方式(备选编码方式) |
r.content | HTTP响应内容的二进制形式 |
4.(1)理解Requests库的异常:
requests.ConnectionError | 网络连接错误异常,如DNS查询失败,拒绝连接等 |
requests.HTTPError | HTTP错误异常 |
requests.URLRequired | URL缺失异常 |
requests.TooManyRedirects | 超过最大重定向次数,产生重定向异常 |
requests.ConnectTimeout | 连接远程服务器超时异常 |
requests.Timeout | 请求URL超时,产生超时异常 |
(2)response的异常:
r.raise_for_status() | 如果不是200,产生异常 requests.HTTPError |
r.raise_for_status()不需要if便于利用try-except进行异常处理
5.HTTP协议:
http://host[:port][path]
host:合法的Internet主机域名或IP地址 port:端口号,缺省端口为80 path:请求资源的路径
url是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资料
6.网络爬虫的限制:
来源审查: | 判断User-Agent进行限制 |
发布公告: | Robots协议 |