2017年12月16日
python——scrapy-redis分布式组件
摘要： 爬虫的自我修养_7 一、scrapy-redis架构 scrapy-redis在scrapy的架构上增加了redis，基于redis的特性拓展了如下组件： Scheduler： Scrapy改造了python本来的collection.deque(双向队列)形成了自己的Scrapy queue(ht 阅读全文
posted @ 2017-12-16 13:01 想54256 阅读(1020) 评论(0) 推荐(0) 编辑