2019年12月25日
scrapy的使用--Scrapy-Redis
摘要： Scrapy-Redis分布式爬虫组件 Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫。就需要借助一个组件叫做Scrapy-Redis。这个组件正式利用了Redis可以分布式的功能，继承到Scrapy框架中，使得爬虫可以进行分布式，可以充分的利用资源（多个ip，更多带宽， 阅读全文
posted @ 2019-12-25 17:51 King~~~ 阅读(407) 评论(0) 推荐(0) 编辑