2018年7月8日
Scrapy-redis
摘要： Redis scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 安装与开启redis 1 #re 阅读全文
posted @ 2018-07-08 00:56 R00M 阅读(282) 评论(0) 推荐(0) 编辑