2020年12月29日
分布式爬虫
摘要： 编写Scrapy-Redis分布式爬虫： 要将一个scrapy项目编程一个scrapy-redis项目只需修改以下三点就可以了： 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider ；或者是从scrapy.CrawlSpider变成scrapy 阅读全文
posted @ 2020-12-29 14:18 流年— 阅读(75) 评论(0) 推荐(0) 编辑