2017年5月11日
scrapy 暂停恢复实现增量爬取
摘要： 1、第一种方法： 在scrapy crawl 命令后面接上 -s JOBDIR/spidername 可以保存爬取状态实现 增量爬取。 2、 参考资料 1、 https://doc.scrapy.org/en/latest/topics/jobs.html 2、 http://stackoverfl 阅读全文
posted @ 2017-05-11 20:04 xunux 阅读(745) 评论(0) 推荐(0) 编辑