2019年7月17日
Scrapy-Redis分布式爬虫
摘要： Scrapy Redis分布式爬虫组件 Scrapy是一个框架，他本身是不支持分布式的。如果我们想要做分布式的爬虫，就需要借助一个组件叫做Scrapy Redis，这个组件正是利用了Redis可以分布式的功能，集成到Scrapy框架中，使得爬虫可以进行分布式。可以充分的利用资源（多个ip、更多带宽、 阅读全文
posted @ 2019-07-17 20:19 阿星Plus 阅读(211) 评论(0) 推荐(0) 编辑