随笔分类 -  爬虫技术

学习爬虫的过程中的一些记录
利用scrapy_redis实现分布式爬虫
摘要：介绍 Scrapy框架不支持分布式，所以需要将一些关键代码进行修改使之支持分布式。scrapy redis相当于一个插件，用来替换scrapy中的一些模块，使得scrapy支持分布式。github地址： https://github.com/darkrho/scrapy redis redis re 阅读全文
posted @ 2018-03-01 15:51 yinzm 阅读(376) 评论(0) 推荐(0)