scrapy主动触发关闭爬虫

 

在spider中时在方法里直接写

self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫')
 

在pipeline和downloaderMiddlewares里

spider.crawler.engine.close_spider(spider, '没有新数据关闭爬虫')
posted @ 2018-10-09 09:28  公众号python学习开发  阅读(2021)  评论(0)  编辑  收藏  举报