2019年7月20日
scrapy-redis(迁移)
摘要： 1.请求对象的持久化 2.去重指纹的永久化 所有请求对象、去重指纹均存储在redis中，而不是在内存中，断电/关机即消失，如果第一次请求未完成，第二次需要重新请求全部。 3.实现分布式 所有的服务器公用一个redis中的request对象 流程图： 在项目中settings.py中配置： Redis 阅读全文
posted @ 2019-07-20 21:52 Justaman 阅读(158) 评论(0) 推荐(0) 编辑