爬虫 - Scrapy中间件
前提:看Scrapy架构图
不管什么Middlewares,都写在middlewares.py里面。
然后在settings.py里的DOWNLOADER_MIDDLEWARES或者SPIDER_MIDDLEWARES里面再设置中间件,这样中间件才细分为下载器中间件还是爬取中间件。
不管什么Middlewares,都写在middlewares.py里面。
然后在settings.py里的DOWNLOADER_MIDDLEWARES或者SPIDER_MIDDLEWARES里面再设置中间件,这样中间件才细分为下载器中间件还是爬取中间件。