07 验证码处理
引入：
- 相关的门户网站在进行登录的时候，如果用户连续登录的次数超过3次或者5次的时候，就会在登录页中动态生成验证码。通过验证码达到分流和反爬的效果。
今日概要：
- 使用云打码平台识别验证码
云打码官网地址： http://www.yundama.com/
云打码使用流程：
注册：普通用户和开发者用户（两个都要注册）
登陆：
— 普通用户：查询余额
— 开发者用户：
- 创建一个软件：我的软件 --> 添加一个软件
- 下载示例代码：点击开发文档 -> 调用示例及最新的DLL -> 点击PythonHttp示例下载，即可下载
开发者用户下载PythonHttp示例使用：
1. 解压下载好的PythonHttp调用示例，文件中有包含的验证图片，YDMHTTPDemo2.x.py，YDMHTTPDemo2.x.p3 三个文件
2. 使用时，将验证图片 和 YDMHTTPDemo2.x.p3 内容导入到项目即可使用
YDMHTTPDemo2.x.p3 云打码平台处理验证码的实现流程：
- 1.对携带验证码的页面数据进行抓取 - 2.可以将页面数据中验证码进行解析，将验证码图片下载到本地（尽量） - 3.可以将验证码图片提交给三方平台进行识别，返回验证码图片上的数据值 - 云打码平台： - 1.在官网中进行注册（普通用户和开发者用户） - 2.登录开发者用户： - 1.实例代码的下载（开发文档-》调用实例及最新的DLL-》PythonHTTP实例下载） - 2.创建一个软件：我的软件-》添加新的软件 -3.使用示例代码中的源码文件中的代码进行修改，让其识别验证码图片中的数据值
代码展示：
爬取人人网登陆后的页面，需要处理验证
1 import http.client, mimetypes, urllib, json, time, requests 2 3 ###################################################################### 4 5 class YDMHttp: 6 7 apiurl = 'http://api.yundama.com/api.php' 8 username = '' 9 password = '' 10 appid = '' 11 appkey = '' 12 13 def __init__(self, username, password, appid, appkey): 14 self.username = username 15 self.password = password 16 self.appid = str(appid) 17 self.appkey = appkey 18 19 def request(self, fields, files=[]): 20 response = self.post_url(self.apiurl, fields, files) 21 response = json.loads(response) 22 return response 23 24 def balance(self): 25 data = {'method': 'balance', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey} 26 response = self.request(data) 27 if (response): 28 if (response['ret'] and response['ret'] < 0): 29 return response['ret'] 30 else: 31 return response['balance'] 32 else: 33 return -9001 34 35 def login(self): 36 data = {'method': 'login', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey} 37 response = self.request(data) 38 if (response): 39 if (response['ret'] and response['ret'] < 0): 40 return response['ret'] 41 else: 42 return response['uid'] 43 else: 44 return -9001 45 46 def upload(self, filename, codetype, timeout): 47 data = {'method': 'upload', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey, 'codetype': str(codetype), 'timeout': str(timeout)} 48 file = {'file': filename} 49 response = self.request(data, file) 50 if (response): 51 if (response['ret'] and response['ret'] < 0): 52 return response['ret'] 53 else: 54 return response['cid'] 55 else: 56 return -9001 57 58 def result(self, cid): 59 data = {'method': 'result', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey, 'cid': str(cid)} 60 response = self.request(data) 61 return response and response['text'] or '' 62 63 def decode(self, filename, codetype, timeout): 64 cid = self.upload(filename, codetype, timeout) 65 if (cid > 0): 66 for i in range(0, timeout): 67 result = self.result(cid) 68 if (result != ''): 69 return cid, result 70 else: 71 time.sleep(1) 72 return -3003, '' 73 else: 74 return cid, '' 75 76 def report(self, cid): 77 data = {'method': 'report', 'username': self.username, 'password': self.password, 'appid': self.appid, 'appkey': self.appkey, 'cid': str(cid), 'flag': '0'} 78 response = self.request(data) 79 if (response): 80 return response['ret'] 81 else: 82 return -9001 83 84 def post_url(self, url, fields, files=[]): 85 for key in files: 86 files[key] = open(files[key], 'rb'); 87 res = requests.post(url, files=files, data=fields) 88 return res.text 89 90 91 92 def get_code_text(codeType,imgPath): 93 # 用户名 （指的是普通用户的用户名和密码） 94 username = 'mwhshare' 95 96 # 密码 97 password = 'mwh@4598105' 98 99 # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！ 100 appid = 6596 101 102 # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！ 103 appkey = '515bcabfb89e3a824619a1d1c8b25f36' 104 105 # 图片文件 106 filename = imgPath 107 108 # 验证码类型，# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html 109 codetype = codeType 110 111 # 超时时间，秒 112 timeout = 20 113 114 # 检查 115 if (username == 'username'): 116 print('请设置好相关参数再测试') 117 else: 118 # 初始化 119 yundama = YDMHttp(username, password, appid, appkey) 120 121 # 登陆云打码 122 uid = yundama.login(); 123 print('uid: %s' % uid) 124 125 # 查询余额 126 balance = yundama.balance(); 127 print('balance: %s' % balance) 128 129 # 开始识别，图片路径，验证码类型ID，超时时间（秒），识别结果 130 cid, result = yundama.decode(filename, codetype, timeout); 131 print('cid: %s, result: %s' % (cid, result)) 132 return result 133 134 135 import requests 136 from lxml import etree 137 from urllib import request 138 139 # 获取一个session对象 140 session = requests.session() 141 #session对象和requests作用几乎一样,都可以进行请求的发送,并且请求发送的方式也是一致的, 142 #session进行请求的发送,如果会产生cookie的话,则cookie会自动被存储到session对象中 143 144 145 # 1. 获取人人网验证码图片： 146 headers = { 147 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' 148 } 149 url ='http://www.renren.com/' 150 page_text = requests.get(url=url,headers=headers).text 151 152 #将验证码图片解析出来且进行持久化存储 153 tree = etree.HTML(page_text) 154 # 拿到当前人人网验证码图片的路径 155 code_img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0] 156 # 将图片储存到当前文件下 157 request.urlretrieve(url=code_img_src,filename="./code.jpg") 158 159 code = get_code_text(2004,'./code.jpg') 160 # print(code) 161 162 # 模拟登陆 163 #拿到登陆所对应的url 164 login_url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2019031446506 ' 165 data = { 166 "email":"1696755793@qq.com", 167 "icod":code, 168 "origURL":"http://www.renren.com/home", 169 "domain":"renren.com", 170 "key_id":"1", 171 "captcha_type":"web_login", 172 "password":"4f1d552d7dc5ba646e93e653da9b06e5a24dceda905323a830e19f6352ae8bc0", 173 "rkey":"9e75e8dc3457b14c55a74627fa64fb43", 174 "f":"" 175 } 176 177 #进行登录,当登录成功之后,可以获取cookie 178 #cookie就会被存储到session中 179 response = session.post(url=login_url,headers=headers,data=data) 180 181 182 #对登录成功后对应的当前用户的个人详情页进行请求发送 183 detail_url = 'http://www.renren.com/969393866/profile' 184 #该次get请求使用的是session对象,该请求已经携带了cookie 185 page_text = session.get(url=detail_url,headers=headers).text 186 with open("./renren.html","w",encoding="utf-8") as fp: 187 fp.write(page_text) 188 print("下载完毕")
