2018年3月1日
利用scrapy_redis实现分布式爬虫
摘要： 介绍 Scrapy框架不支持分布式，所以需要将一些关键代码进行修改使之支持分布式。scrapy redis相当于一个插件，用来替换scrapy中的一些模块，使得scrapy支持分布式。github地址： https://github.com/darkrho/scrapy redis redis re 阅读全文
posted @ 2018-03-01 15:51 yinzm 阅读(337) 评论(0) 推荐(0) 编辑