暂停爬虫
当我们一个爬虫项目量非常大时候,我们可能不能一次执行完毕,需要分好几次执行,这时候,我们只需要在启动爬虫的时候键入命令
scrapy crawl xxx -s JOBDIR=job1
这时候我们可以看到任务开始执行了,当我们想要暂停的时候按下ctrl+c。当我们想要恢复的时候键入:
scrapy crawl xxx -s JOBDIR=job1
这样就可以继续执行了~~
作者:Darkeril
链接:http://www.jianshu.com/p/e71ff6173302
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。