scrapy模拟登陆豆瓣网(处理验证码登陆)
我们知道有一些网站是需要验证码才可以登陆的,比如豆瓣网在错误输入几次账号密码后,都会需要提交包含验证码的表单才可以登陆,便需要处理验证码型登陆
技术路径:scrapy爬虫框架。
技术重点:还是scrapy的FormRequest方法。
(由于由于不涉及到豆瓣网登陆后页面的解析(老生常谈的问题了)。我们只需要编写spider模块的代码就可以了。)
我们给出代码
# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import FormRequest,Request
from scrapy.selector import Selector
class DoubanspiderSpider(scrapy.Spider):
name = 'doubanspider'
#start_urls = ['http://douban.com/']
login_url='https://accounts.douban.com/login'
def start_requests(self):
yield Request('https://accounts.douban.com/login',callback=self.login)
#下载验证码和模拟登陆
def login(self,response):
#用于获取验证码的图片链接
login_pic_url=response.xpath('//*[@id="captcha_image"]/@src').extract_first()
print('获取验证码url中')
#这里打印出验证码的链接,打开浏览器查看链接,记录下验证码
print(login_pic_url)
#在这里的表单中填写验证码
data={'captcha-solution':input('输入验证码:'),
'form_email':'1004210191@qq.com','form_password':'*********'}
#利用FormRequest.from_response()方法提交表单
完成页面解析
yield FormRequest.from_response(response,formdata=data,callback=self.parsepage)
#解析登陆后的页面,解析内容可自己实现,在这里就以保存网页作为解析内容
def parsepage(self, response):
with open('D:/豆瓣.html','wb') as f:
f.write(response.body)
这样我们就实现了模拟登陆需要验证码的网站。