2019年1月14日
Spider-scrapy断点续爬
摘要： scrapy的每一个爬虫，暂停时可以记录暂停状态以及爬取了哪些url，重启时可以从暂停状态开始爬取过的URL不在爬取 实现暂停与重启记录状态 方法一： 1、首先cd进入到scrapy项目里（当然你也可以通过编写脚本Python文件直接在pycharm中运行） 2、在scrapy项目里创建保存记录信息 阅读全文
posted @ 2019-01-14 19:13 Python不秋 阅读(2704) 评论(0) 推荐(0) 编辑