Scrapy_Request对象meta演示

request里面的meta 的使用

import scrapy


class Xs2Spider(scrapy.Spider):
    name = "爬虫名"
    allowed_domains = ["域名"]
    start_urls = ["url地址"]

    def parse(self, response):
        # 章节名称
        title = response.xpath('//div[@id="list"]/dl/dd[10]/a/text()').get()
        # 第一章的url
        url = response.xpath('//div[@id="list"]/dl/dd[10]/a/@href').get()
        # 发送请求
        full_url = response.urljoin(url)
        yield scrapy.Request(full_url,callback=self.parse_info,meta={'title':title})

    def parse_info(self,response):
        content = response.xpath('//div[@id="content"]/text()').getall()
        title = response.request.meta['title']
        yield {
            'title':title,
            'content':content
        }

meta的使用

使用字典拼接再一起,会遇到多个

posted @   jiang_jiayun  阅读(54)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示