2018年7月26日
爬虫 之 scrapy-redis组件
摘要： scrapy-redis组件 scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 基于scrap 阅读全文
posted @ 2018-07-26 19:00 高~雅 阅读(307) 评论(0) 推荐(0) 编辑