2019年10月27日
scrapy-redis使用以及剖析(转)
摘要： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文
posted @ 2019-10-27 22:44 阿布_alone 阅读(426) 评论(0) 推荐(0) 编辑
TOP