Python网络爬虫(验证码处理)
相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。
一、常见的打码平台
- 云打码
- 超级鹰
- 打码兔
二、云打码平台应用
云打码平台处理验证码的实现流程：
- 1.对携带验证码的页面数据进行抓取 - 2.可以将页面数据中验证码进行解析，验证码图片下载到本地 - 3.可以将验证码图片提交给三方平台进行识别，返回验证码图片上的数据值 - 云打码平台： - 1.在官网中进行注册（普通用户和开发者用户） - 2.登录开发者用户： - 1.实例代码的下载（开发文档-》调用实例及最新的DLL-》PythonHTTP实例下载） - 2.创建一个软件：我的软件-》添加新的软件 -3.使用示例代码中的源码文件中的代码进行修改，让其识别验证码图片中的数据值
代码展示：
#该函数就调用了打码平台的相关的接口对指定的验证码图片进行识别，返回图片上的数据值 def getCode(codeImg): # 云打码平台普通用户的用户名 username = 'bobo328410948' # 云打码平台普通用户的密码 password = 'bobo328410948' # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！ appid = 6003 # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！ appkey = '1f4b564483ae5c907a1d34f8e2f2776c' # 验证码图片文件 filename = codeImg # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html codetype = 3000 # 超时时间，秒 timeout = 20 # 检查 if (username == 'username'): print('请设置好相关参数再测试') else: # 初始化 yundama = YDMHttp(username, password, appid, appkey) # 登陆云打码 uid = yundama.login(); print('uid: %s' % uid) # 查询余额 balance = yundama.balance(); print('balance: %s' % balance) # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果 cid, result = yundama.decode(filename, codetype, timeout); print('cid: %s, result: %s' % (cid, result)) return result
三、云打码项目实例(豆瓣评分)
import requests from lxml import etree import json import time import re #1.对携带验证码的页面数据进行抓取 url = 'https://www.douban.com/accounts/login?source=movie' headers = { 'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Mobile Safari/537.36' } page_text = requests.get(url=url,headers=headers).text #2.可以将页面数据中验证码进行解析，验证码图片下载到本地 tree = etree.HTML(page_text) codeImg_url = tree.xpath('//*[@id="captcha_image"]/@src')[0] #获取了验证码图片对应的二进制数据值 code_img = requests.get(url=codeImg_url,headers=headers).content #获取capture_id '<img id="captcha_image" src="https://www.douban.com/misc/captcha?id=AdC4WXGyiRuVJrP9q15mqIrt:en&size=s" alt="captcha" class="captcha_image">' c_id = re.findall('<img id="captcha_image".*?id=(.*?)&.*?>',page_text,re.S)[0] with open('./code.png','wb') as fp: fp.write(code_img) #获得了验证码图片上面的数据值 codeText = getCode('./code.png') print(codeText) #进行登录操作 post = 'https://accounts.douban.com/login' data = { "source": "movie", "redir": "https://movie.douban.com/", "form_email": "15027900535", "form_password": "bobo@15027900535", "captcha-solution":codeText, "captcha-id":c_id, "login": "登录", } print(c_id) login_text = requests.post(url=post,data=data,headers=headers).text with open('./login.html','w',encoding='utf-8') as fp: fp.write(login_text)
四、超级鹰打码平台应用
软件应用准备：
- 验证码的识别 - 超级鹰：http://www.chaojiying.com/about.html - 使用流程： - 注册：用户中心身份的账号 - 登陆： - 充值一块 - 创建一个软件：软件ID-》生成一个软件ID - 下载示例代码：下载基于python的示例代码
开发文档代码，api接口函数：
import requests from hashlib import md5 class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8') self.password = md5(password).hexdigest() self.soft_id = soft_id self.base_params = { 'user': self.username, 'pass2': self.password, 'softid': self.soft_id, } self.headers = { 'Connection': 'Keep-Alive', 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)', } def PostPic(self, im, codetype): """ im: 图片字节 codetype: 题目类型 参考 http://www.chaojiying.com/price.html """ params = { 'codetype': codetype, } params.update(self.base_params) files = {'userfile': ('ccc.jpg', im)} r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers) return r.json() def ReportError(self, im_id): """ im_id:报错题目的图片ID """ params = { 'id': im_id, } params.update(self.base_params) r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers) return r.json()
# api端口，获取验证码结果
def getCodeImgText(imgPath,imgType):
chaojiying = Chaojiying_Client('超级鹰用户名', '用户密码', '96001')#用户中心>>软件ID 生成一个替换 96001
im = open(imgPath, 'rb').read()#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
return chaojiying.PostPic(im,imgType)['pic_str']
五、超级鹰打码平台实例(古诗词网模拟登录)
登录的难点解析：
#解析动态变化的请求参数处理 __VIEWSTATE = tree.xpath('//input[@id="__VIEWSTATE"]/@value')[0] __VIEWSTATEGENERATOR = tree.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')[0] # 动态Session处理 - 通过验证码生成页session值，登录时，客户端携带session完成登录 s = requests.Session() # 验证码处理 - 超级鹰打码平台
代码实例：
import requests from lxml import etree import random headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36' } # 实例化一个Session对象 s = requests.Session() #模拟登陆 #古诗文网的验证码识别操作 url = 'https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx' page_text = s.get(url,headers=headers).text tree = etree.HTML(page_text) img_src = 'https://so.gushiwen.org'+tree.xpath('//*[@id="imgCode"]/@src')[0] # 获取验证码内容 img_data = s.get(url=img_src,headers=headers).content # 写入本地文件 with open('codeImg.jpg','wb') as fp: fp.write(img_data) #解析动态变化的请求参数 __VIEWSTATE = tree.xpath('//input[@id="__VIEWSTATE"]/@value')[0] __VIEWSTATEGENERATOR = tree.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')[0] print(__VIEWSTATE,__VIEWSTATEGENERATOR) #进行验证码的识别 code_text = getCodeImgText('codeImg.jpg',1004) print(code_text) # 登录 login_url = 'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx' data = { #下面两个请求参数是动态变化 #通长情况下动态变化的请求参数会被隐藏在前台页面中 '__VIEWSTATE': __VIEWSTATE, '__VIEWSTATEGENERATOR': __VIEWSTATEGENERATOR, 'from': 'http://so.gushiwen.org/user/collect.aspx', 'email': 'wwxxxx@qq.com', 'pwd': 'boxxx', 'code': code_text, 'denglu': '登录', } #登陆成功之后对应的首页页面源码 main_page_text = s.post(url=login_url,headers=headers,data=data).text with open('./main.html','w',encoding='utf-8') as fp: fp.write(main_page_text)
https://www.cnblogs.com/WiseAdministrator/
