2018年7月11日
scrapy_redis 相关: 将 jobdir 保存的爬虫进度转移到 Redis
摘要： 0.参考 Scrapy 隐含 bug: 强制关闭爬虫后从 requests.queue 读取的已保存 request 数量可能有误 1.说明 Scrapy 设置 jobdir，停止爬虫后，保存文件目录结构： requests.queue/p0 文件保存 priority=0 的未调度 request 阅读全文
posted @ 2018-07-11 19:07 my8100 阅读(1279) 评论(0) 推荐(1) 编辑