Python:requests高级_模拟登陆
cookie
- cookie是由服务器创建的,存储在客户端的一组键值对
import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36' } # 将雪球网中的新闻资讯进行爬取: https://xueqiu.com/ # 分析:首页第一屏的数据是动态加载,滚轮滑动到底部后会加载更新新闻数据 url = 'https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=-1&size=15' json_data = requests.get(url,headers=headers).json() print(json_data) # 利用session来获取cookie session = requests.Session() # 捕获cookie存储到session中,便于下次用session去获取数据的时候自带cookie session.get(url='https://xueqiu.com',headers=headers) url = 'https://xueqiu.com/statuses/hot/listV2.json?since_id=-1&max_id=-1&size=15' json_data = session.get(url,headers=headers).json() print(json_data)
代理操作
- 爬虫程序由于要在短时间内对指定的服务器发起高频请求,从而服务器端可能会将该IP禁止掉
- 代理服务器:用来转发请求和响应,可让代理服务器转发请求从而更换请求的原始ip地址
- 如何获取代理服务器?
- 免费:几乎不可用
- 西祠代理/快代理/goubanjia
- 付费:智联HTTP:http://http.zhiliandaili.cn/
### 以下代码并未进过验证,只是为了展示实现原理 ### # 对https://www.xicidaili.com/nn/3网站进行高频请求发送,来让服务器禁用IP,再使用代理机制解除 from lxml import etree url = 'https://www.xicidaili.com/nn/%d' all_data = [] for page in range(1,30): new_url = format(ulr%page) page_text = requests.get(new_url, headers=headers).text tree = etree.HTML(page_text) # tr_list = tree.xpath('//*[@id="ip_list"]/tbody/tr') # 星号*表示通配符 tr_list = tree.xpath('//*[@id="ip_list"]//tr')[1:] # xpath表达是中不能出现tbody标签,去掉,用//代替 for tr in tr_list: ip_address = tr.xpath('./td[2]/text()')[0] all_data.append(ip_address)
### 以下代码并未进过验证,只是为了展示实现原理 ### # 1. 构建代理池: ip_list = [ {'https':'192.168.1.1:1111'}, {'https':'192.168.1.1:1111'}, {'https':'192.168.1.1:1111'}, ] # 2. 使用代c理词操作: url = 'https://www.xicidaili.com/nn/%d' all_data = [] for page in range(1,30): new_url = format(ulr%page) # page_text = requests.get(url, headers=headers).text # 用代理 import random page_text = requests.get(new_url,headers=headers,proxies=random.choice(ip_list)) tree = etcree.HTML(page_text) tr_list = tree.xpath('//*[@id="ip_list"]//tr')[z1:] # xpath表达是中不能出现tbody标签,去掉,用//代替 for tr in tr_list: ip_address = tr.xpath('./td[2]/text()')[0] all_data.append(ip_address)
问题:
- 问题:在大量发送请求的时候,经常会报出错误:HTTPConnectionPool (host:xx) Max retrieve exceeded with url
- 原因:
- 每次数据传输给客户端都需要和服务器简历TCP连接,为了节省传输的消耗 ,默认Connection: keep-alive;如果迟迟不断开的话,在连接池满了后则导致无法产生新的连接对象,导致请求无法发送。
- 请求太频繁
- IP被禁
- 解决:如果下列解决方法都未生效,则尝试再次执行原程序
- 设置请求头的Connection=close,表示每次连接成功后断开连接
- 每次请求之间sleep一段时间后再次执行
- 更换请求IP
验证码识别
- 线上的打码平台进行验证码识别
- 超级鹰
- 注册/登录:身份【用户中心】
- 创建一个软件:软件ID-》生成一个软件ID(899370)
- 下载示例代码:开发文档-》python
# 超级鹰的示范代码 #!/usr/bin/env python # coding:utf-8 import requests from hashlib import md5 class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8') self.password = md5(password).hexdigest() self.soft_id = soft_id self.base_params = { 'user': self.username, 'pass2': self.password, 'softid': self.soft_id, } self.headers = { 'Connection': 'Keep-Alive', 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)', } def PostPic(self, im, codetype): """ im: 图片字节 codetype: 题目类型 参考 http://www.chaojiying.com/price.html """ params = { 'codetype': codetype, } params.update(self.base_params) files = {'userfile': ('ccc.jpg', im)} r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers) return r.json() def ReportError(self, im_id): """ im_id:报错题目的图片ID """ params = { 'id': im_id, } params.update(self.base_params) r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers) return r.json() #自己封装的一个识别验证码图片的函数 def transform_code_img(imgPath,imgType): chaojiying = Chaojiying_Client('username', 'password', 'soft_id') #用户中心>>软件ID 生成一个替换 96001 im = open(imgPath, 'rb').read()#本地图片文件路径 来替换 a.jpg 有时WIN系统须要// return chaojiying.PostPic(im, imgType)['pic_str']#1902 验证码类型 官方网站>>价格体系 3.4+版 print 后要加() #调用识别验证码的函数对验证码进行识别 transform_code_img('./a.jpg',4004)
### 将古诗文网中的验证码图片进行识别 ### 以下代码并未进过验证,只是为了展示实现原理 ### sess = requests.Session() #创建好session对象,保存cookies #处理动态变化的请求参数 #1.解析出本次登录页面对应的验证码图片地址 login_url = 'https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx' page_text = sess.get(url=login_url,headers=headers).text tree = etree.HTML(page_text) #解析出了验证码图片的地址 img_path = 'https://so.gushiwen.org'+tree.xpath('//*[@id="imgCode"]/@src')[0] img_data = sess.get(url=img_path,headers=headers).content #请求到了图片数据 #将图片保存到本地存储 with open('./code.jpg','wb') as fp: fp.write(img_data) #将动态变化的请求参数从页面源码中解析出来 __VIEWSTATE = tree.xpath('//*[@id="__VIEWSTATE"]/@value')[0] __VIEWSTATEGENERATOR = tree.xpath('//*[@id="__VIEWSTATEGENERATOR"]/@value')[0] #识别验证码 code_result = transform_code_img('./code.jpg',1004) print(code_result) post_url = 'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx' data = { "__VIEWSTATE":__VIEWSTATE, "__VIEWSTATEGENERATOR":__VIEWSTATEGENERATOR, "from": "http://so.gushiwen.org/user/collect.aspx", "email": "email_address", "pwd": "password", "code": code_result, "denglu": "登录", } #模拟登录的请求 response = sess.post(url=post_url,headers=headers,data=data) page_text = response.text #登录成功后页面的源码数据 with open('gushiwen.html','w',encoding='utf-8') as fp: fp.write(page_text)
参考:https://www.bilibili.com/video/BV1tE411F7do(P9~P12)