摘要: scrapy_redis是一个基于redis的scrapy组件,通过它可以快速实现简单的分布式爬虫程序,该组件主要提供三大功能: (1)dupefilter——URL去重规则(被调度器使用) (2)scheduler——调度器 (3)pipeline——数据持久化 一、安装redis 去官网下载re 阅读全文
posted @ 2018-10-29 11:38 随风飘-挨刀刀 阅读(1091) 评论(0) 推荐(0) 编辑
摘要: redis.exceptions.ResponseError: MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands that may 阅读全文
posted @ 2018-10-29 10:56 随风飘-挨刀刀 阅读(953) 评论(0) 推荐(0) 编辑
Top