如何玩耍scrapy的中间件?下面教你玩

使用下载器中间件时必须激活这个中间件,方法是在settings.py文件中设置DOWNLOADER_MIDDLEWARES这个字典,格式类似如下

DOWNLOADER_MIDDLEWARES = {
'scrapy_test.middlewares.ScrapyTestDownloaderMiddleware': 543,
}

不想深究下去的就重点记住这个吧:数字越小,越靠近引擎,数字越大越靠近下载器,所以数字越小的,processrequest()优先处理;数字越大的,process_response()优先处理

 

转载链接(详细的看这个):https://www.lagou.com/lgeduarticle/35939.html

posted @ 2019-11-11 17:21  那时的吻狠陶醉  阅读(174)  评论(0编辑  收藏  举报