会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
my8100
博客园
首页
新随笔
联系
订阅
管理
2018年7月11日
scrapy_redis 相关: 将 jobdir 保存的爬虫进度转移到 Redis
摘要: 0.参考 Scrapy 隐含 bug: 强制关闭爬虫后从 requests.queue 读取的已保存 request 数量可能有误 1.说明 Scrapy 设置 jobdir,停止爬虫后,保存文件目录结构: requests.queue/p0 文件保存 priority=0 的未调度 request
阅读全文
posted @ 2018-07-11 19:07 my8100
阅读(1279)
评论(0)
推荐(1)
编辑
公告