scrapy框架之递归解析和post请求

scrapy框架之递归解析和post请求

递归爬取解析多页页面数据

• 需求：将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储

• 需求分析：每一个页面对应一个url，则scrapy工程需要对每一个页码对应的url依次发起请求，然后通过对应的解析方法进行作者和段子内容的解析。

实现方案：

​ 1.将每一个页码对应的url存放到爬虫文件的起始url列表（start_urls）中。（不推荐）

​ 2.使用Request方法手动发起请求。（推荐）

代码展示：

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http.response.html import HtmlResponse
from scrapy_demo.items import ScrapyDemoItem


class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    # allowed_domains = ['www.qiushibaike.com']
    start_urls = ['https://www.qiushibaike.com/text/']
    # 爬取多页
    url = 'https://www.qiushibaike.com/text/page/%s/'  # url模板
    page_num = 1  # 当前访问的页码

    def parse(self, response: HtmlResponse):
        # xpath为response中的方法，可以将xpath表达式直接作用于该函数中
        oDiv = response.xpath('//div[@id="content-left"]/div')
        for div in oDiv:
            # xpath函数返回的为列表，列表中存放的数据为Selector类型的数据。
            # 我们解析到的内容被封装在了Selector对象中，需要调用extract()函数将解析的内容从Selecor中取出。
            author = div.xpath('.//h2/text()').extract_first()  # 返回第一个元素
            content = div.xpath('.//div[@class="content"]/span[1]/text()')[0].extract().strip()
            author = author.strip('\n')
            content = content.strip('\n')
            # 将解析到的数据封装至items对象中
            item = ScrapyDemoItem()
            item['author'] = author
            item['content'] = content
            yield item  # 提交item到管道文件（pipelines.py）
        # 爬取所有页码数据
        if self.page_num < 13:  # 一共爬取13页（共13页）
            self.page_num += 1
            next_url = self.url % self.page_num
            # 递归爬取数据：callback参数的值为回调函数（将url请求后，得到的相应数据继续进行parse解析），递归调用parse函数
            yield scrapy.Request(next_url, callback=self.parse)

post请求

- 问题：在之前代码中，我们从来没有手动的对start_urls列表中存储的起始url进行过请求的发送，但是起始url的确是进行了请求的发送，那这是如何实现的呢？

- 解答：其实是因为爬虫文件中的爬虫类继承到了Spider父类中的start_requests（self）这个方法，该方法就可以对start_urls列表中的url发起请求：

    def start_requests(self):
        cls = self.__class__
        if method_is_overridden(cls, Spider, 'make_requests_from_url'):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won't be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % (
                    cls.__module__, cls.__name__
                ),
            )
            for url in self.start_urls:
                yield self.make_requests_from_url(url)
        else:
            for url in self.start_urls:
                yield Request(url, dont_filter=True)
                
	def make_requests_from_url(self, url):
        """ This method is deprecated. """
        return Request(url, dont_filter=True) # 如果没有写明回调函数，默认就是 parse 方法

【注意】该方法默认的实现，是对起始的url发起get请求，如果想发起post请求，则需要子类重写该方法。

　　-方法： 重写start_requests方法，让其发起post请求：

def start_requests(self):
        #请求的url
        post_url = 'http://fanyi.baidu.com/sug'
        # post请求参数
        formdata = {
            'kw': 'wolf',
        }
        # 发送post请求
        yield scrapy.FormRequest(url=post_url, formdata=formdata, callback=self.parse)