摘要： scrapy为下载的item中包含的文件提供了一个可重用的item pipeline（scrapy.pipelines.media.MediaPipeline），这些Pipeline有些共同的方法和结构。 MediaPipeline共同实现了以下特性： （1）避免重新下载最近已经下载过的数据 （2） 阅读全文

摘要： 用scrapy下载文件时报错：ValueError: Missing scheme in request url: h 通过分析发现，iamges_urls_field字段的参数为列表或其他可迭代对象，而我传入的是一个字符串，所有报错。 将出入的值修改为列表即可解决报错 阅读全文

摘要： Scrapy提供了两种类型的命令：一种必须在scrapy项目中运行，为针对项目的命令，另外一种则属于全局命令。 1、全局命令 （1）startproject命令 语法：scrapy startproject <project_name> 作用：用于创建名为project_name的scrapy项目 阅读全文