Scrapy 为每一个Spider设置自己的Pipeline

settings中的ITEM_PIPELINES

通常我们需要把数据存在数据库中，一般通过scrapy的pipelines管道机制来实现。做法是，先在pipelines.py模块中编写Pipeline类，然后在project的settings.py中设置ITEM_PIPELINES，如：

ITEM_PIPELINES = {
    'scrapyproj.pipelines.ScrapyprojPipeline': 300,
}

Spider类属性custom_settings

上述这种做法不能单独地为某个Spider设置指定的Pipeline。那么，如何为每一个Spider设置自己的Pipeline呢？

我们需要利用Spider类属性custom_settings来实现，仿照如下配置即可：

custom_settings = {
    'ITEM_PIPELINES': {'scrapyproj.pipelines.ScrapyprojPipeline': 300, }
}

 

　　至此。转载请注明出处。