scrapy 发送post请求
登录人人网为例
1.想要发送post请求，那么使用'scrapy.FormRequest'方法，可以方便的指定表单数据
2.如果想在爬虫一开始的时候就发送post请求，那么应该重写'start_requests'方法，在这个方法中发送post请求
spider.py
1 import scrapy 2 3 4 class RenrenSpider(scrapy.Spider): 5 name = 'renren' 6 allowed_domains = ['renren.com'] 7 start_urls = ['http://renren.com/'] 8 9 def start_requests(self): 10 url = 'http://www.renren.com/PLogin.do' 11 data = {'email': 'user name', 'password': 'user password'} 12 request = scrapy.FormRequest(url, formdata=data, callback=self.parse_page) #发送post请求 13 yield request 14 15 def parse_page(self, response): 16 request = scrapy.Request(url='http://www.renren.com/880151247/profile', callback=self.parse_profile) #访问大鹏个人主页 17 yield request 18 19 def parse_profile(self, response): 20 with open('dapeng.html', 'w', encoding='utf-8') as fp: 21 fp.write(response.text) #如果返回个人主页代码则说明登录成功#
返回结果
dapeng.html 部分代码
1 <!Doctype html> 2 <html class="nx-main860"> 3 <head> 4 <meta name="Description" content="人人网 校内是一个真实的社交网络，联络你和你周围的朋友。 加入人人网校内你可以:联络朋友，了解他们的最新动态；和朋友分享相片、音乐和电影；找到老同学，结识新朋友；用照片和日志记录生活,展示自我。"/> 5 <meta name="Keywords" content="Xiaonei,Renren,校内,大学,同学,同事,白领,个人主页,博客,相册,群组,社区,交友,聊天,音乐,视频,校园,人人,人人网"/> 6 <title>人人网 - 大鹏董成鹏</title> 7 <meta charset="utf-8"/> 8 <link rel="shortcut icon" type="image/x-icon" href="http://a.xnimg.cn/favicon-rr.ico?ver=3" /> 9 <link rel="apple-touch-icon" href="http://a.xnimg.cn/wap/apple_icon_.png" /> 10 <link rel="stylesheet" type="text/css" href="http://s.xnimg.cn/a86614/nx/core/base.css"> 11 <script type="text/javascript"> 12 if(typeof nx === 'undefined'){ 13 var nx = {}; 14 }
说明登录成功
别忘了设置settings.py中的请求头和爬虫协议
