验证码处理
云打码平台的使用
云打码平台处理验证码的实现流程：- 官网url：http://www.yundama.com/demo.html
- 1.对携带验证码的页面数据进行抓取 - 2.可以将页面数据中验证码进行解析，验证码图片下载到本地 - 3.可以将验证码图片提交给三方平台进行识别，返回验证码图片上的数据值 - 云打码平台： - 1.在官网中进行注册（普通用户和开发者用户） - 2.登录开发者用户： - 1.实例代码的下载（开发文档-》调用实例及最新的DLL-》PythonHTTP实例下载） - 2.创建一个软件：我的软件-》添加新的软件 -3.使用示例代码中的源码文件中的代码进行修改，让其识别验证码图片中的数据值
案例：
爬取人人网登录后的个人主页
#将验证码识别的操作封装成一个函数 def getCodeText(userName,passWord,imgPath,codeType): result = None # 普通用户用户名 username = userName # 密码 password = passWord # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！ appid = 7166 # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！ appkey = '18e36137d7308a1c6218de7f148d95ee' # 图片文件 filename = imgPath # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html codetype = codeType # 超时时间，秒 timeout = 30 # 检查 if (username == 'username'): print('请设置好相关参数再测试') else: # 初始化 yundama = YDMHttp(username, password, appid, appkey) # 登陆云打码 uid = yundama.login(); print('uid: %s' % uid) # 查询余额 balance = yundama.balance(); print('balance: %s' % balance) # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果 cid, result = yundama.decode(filename, codetype, timeout); print('cid: %s, result: %s' % (cid, result)) return result
import requests import json import time from lxml import etree from urllib import request url = 'http://www.renren.com/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.12 Safari/537.36' } page_text = requests.get(url=url,headers=headers).text #识别人人网中的验证码图片 tree = etree.HTML(page_text) code_img_url = tree.xpath('//*[@id="verifyPic_login"]/@src')[0] request.urlretrieve(code_img_url,'./code.jpg') #解析验证码图片 code_text = getCodeText('rest_zwq','xx密码xx','./code.jpg',2004) #登录 login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201924831467' data = { "email":"www.zhangbowudi@qq.com", "icode":code_text, "origURL":"http://www.renren.com/home", "domain":"renren.com", "key_id":"1", "captcha_type":"web_login", "password":"436e61246c5c1c36a288c0e625b4e10f9b9c8df72b7a3f6e06a182c38d2286cb", "rkey":"77a46f4376c93a80d35930b2cacb6a8d", "f":"", } # 创建一个session对象 session = requests.Session() #使用session进行请求的发送：获取cookie，且将cookie保存到session中 session.post(login_url,data=data,headers=headers) #获取个人主页对应的页面数据 detail_url = 'http://www.renren.com/289676607/profile' #该次请求发送是就已经携带了cookie page_text = session.get(url=detail_url,headers=headers).text with open('./renren.html','w',encoding='utf-8') as fp: fp.write(page_text)
爬取古诗文网数据
需要携带类似于token的动态数据
#对古诗文网进行模拟登录 from lxml import etree from urllib import request headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.12 Safari/537.36' } session = requests.Session() #获取验证码图片 url = 'https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx' page_text = requests.get(url,headers=headers).text tree = etree.HTML(page_text) code_img_url = 'https://so.gushiwen.org'+tree.xpath('//*[@id="imgCode"]/@src')[0] img_data = session.get(url=code_img_url,headers=headers).content with open('./gushiwen.jpg','wb') as fp: fp.write(img_data) # 拿到验证码 code_text = getCodeText('rest_zwq','zwq1156145880','./gushiwen.jpg',1004) # 执行登录 # 获取类似token的动态数据 __VIEWSTATE = tree.xpath('//*[@id="__VIEWSTATE"]/@value')[0] __VIEWSTATEGENERATOR = tree.xpath('//*[@id="__VIEWSTATEGENERATOR"]/@value')[0] login_url = 'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx' data = { "__VIEWSTATE":__VIEWSTATE, "__VIEWSTATEGENERATOR":__VIEWSTATEGENERATOR, "from":"http://so.gushiwen.org/user/collect.aspx", "email":"www.zhangbowudi@qq.com", "pwd":"bobo328410948", "code":code_text, "denglu":"登录", } page_text = session.post(url=login_url,data=data,headers=headers).text with open('./gushiwen.html','w',encoding='utf-8') as fp: fp.write(page_text)
