使用scrapy-redis 搭建分布式爬虫环境
摘要：
scrapy-redis 简介 scrapy-redis 是 scrapy 框架基于 redis 数据库的组件，用于 scraoy 项目的分布式开发和部署。 有如下特征： 分布式爬取： 你可以启动多个 spider 工程，相互之间共享单个的 requests 队列，最适合广泛的多个域名的内容的抓取。 阅读全文
posted @ 2019-10-02 15:42 海纳百川_有容乃大 阅读(535) 评论(0) 推荐(0) 编辑
