python day1-requests
一、什么是requests
Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库。
相对于urllib库(自带,无需手动安装)而言,requests库的使用显得简单便捷(本质就是封装了urllib3)。
官方文档:http://cn.python-requests.org/zh_CN/latest/
二、requests的安装
1.电脑运行ctrl+R输入cmd(命令提示符)
2.运行pip install requests安装
三、requests库的使用
在requests库中,我们常用的是requests.get()和requests.post()
post请求与get请求区别:
1.在客户端,Get方式在通过URL提交数据,数据在URL中可以看到;POST方式,数据放置在HTML HEADER内提交。
2.GET方式提交的数据最多只能有1024 Byte,而POST则没有此限制。
3.安全性问题。正如在(1)中提到,使用Get的时候,参数会显示在地址栏上,而Post不会。所以,如果这些数据是中文数据而且是非敏感数据,那么使用get;如果用户输入的数据不是中文字符而且包含敏感数据,那么还是使用post为好。
requests.get()
import requests response = requests.get('http://www.baidu.com') #获取百度的源码 response.encoding = response.apparent_encoding #程序分析源码采用的编码格式 print(response.text) #打印源码
其实,我们在使用过程中经常需要传递一些参数,如百度搜索python,这时我们就可以通过拼接构造URL的方式实现,那么数据会以键/值对的形式置于 URL 中,跟在一个问号的后面。
例如:http://www.baidu.com/s?wd=python中Requests 允许你使用 params 关键字参数,以一个字典来提供这些参数。
import requests url = 'http://www.baidu.com/s' params = { 'wd':'python' } response = requests.get(url,params=params) #传入参数 response.encoding = response.apparent_encoding print(response.url) #返回http://www.baidu.com/s?wd=python
当然,你也可以使用最简单的拼接
url = 'http://www.baidu.com/s?wd=' + 'python' response = requests.get(url) print(response.url) #返回http://www.baidu.com/s?wd=python
拓展知识:
你还可以将一个列表作为值传入:
import requests params = {'key1': 'value1', 'key2': ['value2', 'value3']} r = requests.get('http://httpbin.org/get', params=params) print(r.url) # 打印的结果是 #http://httpbin.org/get?key1=value1&key2=value2&key2=value3
requests.post()
import requests data = { "name":"zhaofan", "age":23 } response = requests.post("http://httpbin.org/post",data=data) print(response.text) '''
返回
{ "args": {}, "data": "", "files": {}, "form": { "age": "23", "name": "zhaofan" }, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Content-Length": "19", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "python-requests/2.20.0" }, "json": null, "origin":, "url": "https://httpbin.org/post" } '''
其他HTTP请求类型:PUT,DELETE,HEAD 以及 OPTIONS其实都是差不多的用法
r = requests.put('http://httpbin.org/put', data = {'key':'value'}) r = requests.delete('http://httpbin.org/delete') r = requests.head('http://httpbin.org/get') r = requests.options('http://httpbin.org/get')
四、定制请求头
网站建立的最终目的是让人来访问的,其实几乎每个网站都是拒绝爬虫的,因此引出各种各样的反爬手段,那么网站是靠什么来判定我们是爬虫的?
方法有很多,其中最普遍的是通过请求头来判断。
在发送HTTP请求的时候浏览器都会带上请求头信息等,如果我们的程序没有带上,或者带上的请求头信息是错误的,也就是不被服务器认可的,那么就会遭到服务器的拒绝!
import requests url = 'http://www.baidu.com/s' params = { 'wd':'python' } #请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36', } response = requests.get(url,params=params,headers=headers)
此外,我们也可以通过fake_useragent来随机生成一个请求头
from fake_useragent import UserAgent us = UserAgent() print(us.random) #打印随机生成的请求头
注意:我们只是加上了User-Agent信息就可以正常访问了,但是浏览器是发送了比我们更多的信息的。如果遇到加上请求头User-Agent信息也不成功的网站,可以尝试添加其他请求头信息。
五、响应状态码
import requests url = 'http://www.baidu.com/' response = requests.get(url) print(response.status_code) #返回200
相关的响应状态码请访问网友的博客:https://www.cnblogs.com/dekui/p/7801289.html
六、cookie
现在的网站中有这样的一种网站类型,也就是需要用户注册以后,并且登陆才能访问的网站,或者说在不登录的情况下不能访问自己的私有数据,例如微博,微信等。
网站记录用户信息的方式就是通过客户端的Cookie值。例如:当我们在浏览器中保存账号和密码的同时,浏览器在我们的电脑上保存了我们的用户信息,并且在下次访问这个页面的时候就会自动的为我们加载Cookie信息。
在需要登陆的网站中,浏览器将Cookie中的信息发送出去,服务器验证Cookie信息,确认登录。既然浏览器在发送请求的时候带有Cookie信息,那么我们的程序同样也要携带Cookie信息。
Cookie是当你访问某个站点或者特定页面的时候,留存在电脑里的一段文本,它用于跟踪记录网站访问者的相关数据信息,比如:搜索偏好、行为点击,账号,密码等内容。
通常Cookie值信息可以在浏览器中复制过来,放到headers中:
headers = { 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep-alive', 'Content-Length': '26', 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8', 'Cookie': 'xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx', # 浏览器中复制 'Host': 'www.lagou.com', 'Origin': 'https://www.lagou.com', 'Referer': 'https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36', 'X-Anit-Forge-Code': '0', 'X-Anit-Forge-Token': 'None', 'X-Requested-With': 'XMLHttpRequest', }