scrapy中主动触发关闭爬虫的方法

在spider中 主动关闭爬虫:

self.crawler.engine.close_spider(self, “cookie失效关闭爬虫”)

在pipeline 和downloadermiddlewares 主动关闭爬虫：

spider.crawler.engine.close_spider(spider, “全文结束关闭爬虫”)

posted @ 2019-09-02 16:33  逐梦~前行  阅读(1848)  评论(0)  编辑  收藏  举报