Scrapy 隐含 bug: 强制关闭爬虫后从 requests.queue 读取的已保存 request 数量可能有误

问题描述和解决方案已提交至 Scrapy issues：

The size of requests.queue may be wrong when resuming crawl from unclean shutdown. #3333

posted @ 2018-07-16 09:39 my8100 阅读(670) 评论(0) 编辑收藏举报

刷新页面返回顶部