2020年6月2日
三步将一个普通的scrapy爬虫变为分布式爬虫
摘要： 要将一个scrapy项目变为一个scrapy.redis项目只需要修改下面三点就可以了： 将爬虫类从scrapy.Spider 变成scrapy_redis.spiders.RedisSpider；或者从scripy.CrawlSpider变成scrapy_redis.spiders.RedisCr 阅读全文
posted @ 2020-06-02 11:44 牛公的跑奔 阅读(335) 评论(0) 推荐(0) 编辑
总访问量：AmazingCounters.com