2018年3月31日
scrapy-redis使用以及剖析
摘要： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文
posted @ 2018-03-31 23:23 零度大白 阅读(127) 评论(0) 推荐(0) 编辑
$(function(){ $('#cnblogs_c1').remove(); })