scrapy download 中间件

request与response的优先级是相反的方向
request:数值越低优先级越高
response:数值越低优先级越低

使用类似selenium的请求中间件,则直接在SpiderDownloaderMiddleware -> process_request()中写对应的代码即可,并且直接返回HttpResponse()即可

posted @ 2023-08-09 21:15  bitterteaer  阅读(6)  评论(0编辑  收藏  举报