十四 web爬虫讲解2—Scrapy框架爬虫—豆瓣登录与利用打码接口实现自动识别验证码
打码接口文件
# -*- coding: cp936 -*-
import sys
import os
from ctypes import *
# 下载接口放目录 http://www.yundama.com/apidoc/YDM_SDK.html
# 错误代码请查询 http://www.yundama.com/apidoc/YDM_ErrorCode.html
# 所有函数请查询 http://www.yundama.com/apidoc
print('>>>正在初始化...')
YDMApi = windll.LoadLibrary('H:/py/16/adc/adc/yamzhm/yundamaAPI-x64')
# 1. http://www.yundama.com/index/reg/developer 注册开发者账号
# 2. http://www.yundama.com/developer/myapp 添加新软件
# 3. 使用添加的软件ID和密钥进行开发，享受丰厚分成
appId = 3818 # 软件ＩＤ，开发者分成必要参数。登录开发者后台【我的软件】获得！
appKey = b'6ff56e09e89fffe45c14abe624af9456' # 软件密钥，开发者分成必要参数。登录开发者后台【我的软件】获得！
# print('软件ＩＤ：%d\r\n软件密钥：%s' % (appId, appKey))
# 注意这里是普通会员账号，不是开发者账号，注册地址 http://www.yundama.com/index/reg/user
# 开发者可以联系客服领取免费调试题分
username = b'adc8868'
password = b'adc279819'
if username == b'test':
exit('\r\n>>>请先设置用户名密码')
####################### 一键识别函数 YDM_EasyDecodeByPath #######################
# print('\r\n>>>正在一键识别...')
#
# # 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
# codetype = 1004
#
# # 分配30个字节存放识别结果
# result = c_char_p(b" ")
#
# # 识别超时时间 单位：秒
# timeout = 60
#
# # 验证码文件路径
# filename = b'H:/py/16/adc/adc/yamzhm/yan_zhe_nma.jpg'
#
# # 一键识别函数，无需调用 YDM_SetAppInfo 和 YDM_Login，适合脚本调用
# captchaId = YDMApi.YDM_EasyDecodeByPath(username, password, appId, appKey, filename, codetype, timeout, result)
#
# print("一键识别：验证码ID：%d，识别结果：%s" % (captchaId, result.value))
################################################################################
########################## 普通识别函数 YDM_DecodeByPath #########################
# print('\r\n>>>正在登陆...')
# 第一步：初始化云打码，只需调用一次即可
YDMApi.YDM_SetAppInfo(appId, appKey)
# 第二步：登陆云打码账号，只需调用一次即可
uid = YDMApi.YDM_Login(username, password)
if uid > 0:
# print('>>>正在获取余额...')
# 查询账号余额，按需要调用
balance = YDMApi.YDM_GetBalance(username, password)
print('登陆成功，用户名：%s，剩余题分：%d' % (username, balance))
print('\r\n>>>正在普通识别...')
# 第三步：开始识别
# 例：1004表示4位字母数字，不同类型收费不同。请准确填写，否则影响识别率。在此查询所有类型 http://www.yundama.com/price.html
codetype = 3000
# 分配30个字节存放识别结果
result = c_char_p(b" ")
# 验证码文件路径
filename = b'H:/py/16/adc/adc/yamzhm/yan_zhe_nma.jpg'
# 普通识别函数，需先调用 YDM_SetAppInfo 和 YDM_Login 初始化
captchaId = YDMApi.YDM_DecodeByPath(filename, codetype, result)
print("普通识别：验证码ID：%d，识别结果：%s" % (captchaId, result.value))
else:
print('登陆失败，错误代码：%d' % uid)
################################################################################
# print('\r\n>>>错误代码请查询 http://www.yundama.com/apidoc/YDM_ErrorCode.html')
# input('\r\n测试完成，按回车键结束...')
实现文件
# -*- coding: utf-8 -*-
import os
from urllib import request #导入request模块
import scrapy
from scrapy.http import Request,FormRequest
class PachSpider(scrapy.Spider): #定义爬虫类，必须继承scrapy.Spider
name = 'pach' #设置爬虫名称
allowed_domains = ['douban.com'] #爬取域名
# start_urls = [''] #爬取网址,只适于不需要登录的请求，因为没法设置cookie等信息
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'} #设置浏览器用户代理
def start_requests(self):
"""第一次请求一下登录页面，设置开启cookie使其得到cookie，设置回调函数"""
print("第一次请求页面获取Cookies.........!")
return [Request('https://accounts.douban.com/login',meta={'cookiejar':1},callback=self.parse,headers=self.header)]
def parse(self, response):
# 响应Cookies
Cookie1 = response.headers.getlist('Set-Cookie') #查看一下响应Cookie，也就是第一次访问注册页面时后台写入浏览器的Cookie
print('后台首次写入的响应Cookies：',Cookie1)
#判断是否出现验证码
yzhm = response.xpath('//img[@id="captcha_image"]/@src').extract()
if len(yzhm) > 0:
print("出现验证码，请输入验证码")
print('验证码图片地址：',yzhm)
#将验证码图片保存到本地
file_path = os.path.join(os.getcwd() + '/adc/yamzhm/yan_zhe_nma.jpg') # 拼接图片保存路径
print(file_path)
request.urlretrieve(yzhm[0], file_path) # 将图片保存到本地，参数1获取到的src，参数2保存路径
#使用在线打码，自动识别验证码
from adc.yamzhm import YDMPython3 #导入打码模块
yan_zhen_ma = str(YDMPython3.result.value,encoding='utf-8') #接收打码结果
print('写入验证码',yan_zhen_ma)
data = { # 设置用户登录信息，对应抓包得到字段
'source': 'None',
'redir': 'https://www.douban.com/people/81309370/',
'form_email': '729088188@qq.com',
'form_password': 'adc279819',
'login': '登录',
'captcha-solution': yan_zhen_ma
}
print('第二次post请求携带Cookies授权，登录中........!')
"""第二次用表单post请求，携带Cookie、浏览器代理、用户登录信息，进行登录给Cookie授权"""
return [FormRequest.from_response(response,
url='https://accounts.douban.com/login', #真实post地址
meta={'cookiejar':response.meta['cookiejar']},
headers=self.header,
formdata=data,
callback=self.next,
)]
else:
data = { # 设置用户登录信息，对应抓包得到字段
'source': 'None',
'redir': 'https://www.douban.com/people/81309370/',
'form_email': '729088188@qq.com',
'form_password': 'adc279819',
'login': '登录',
}
print('第二次post请求携带Cookies授权，登录中........!')
"""第二次用表单post请求，携带Cookie、浏览器代理、用户登录信息，进行登录给Cookie授权"""
return [FormRequest.from_response(response,
url='https://accounts.douban.com/login', # 真实post地址
meta={'cookiejar': response.meta['cookiejar']},
headers=self.header,
formdata=data,
callback=self.next,
)]
def next(self,response):
# 请求Cookie
Cookie2 = response.request.headers.getlist('Cookie')
print('登录时携带请求的Cookies：',Cookie2)
dlujieg = response.xpath('/html/head/title/text()').extract()
if dlujieg:
print('登录响应结果：',dlujieg)
else:
jieg = response.body.decode("utf-8") #登录后可以查看一下登录响应信息
print('登录响应结果：',jieg)
print('第三次请求携带授权Cookie，请求需要登录才能查看的页面.........!')
yield Request('https://www.douban.com/people/81309370/',meta={'cookiejar':True},headers=self.header,callback=self.next2)
def next2(self,response):
# 请求Cookie
Cookie3 = response.request.headers.getlist('Cookie')
print('查看需要登录才可以访问的页面携带Cookies：',Cookie3)
leir = response.xpath('/html/head/title/text()').extract() #得到个人中心页面
print('最终内容',leir)
# leir2 = response.xpath('//div[@class="set-tags"]/a/text()').extract() # 得到个人中心页面
# print(leir2)
