使用scrapy-redis 搭建分布式爬虫环境
摘要:
scrapy-redis 简介 scrapy-redis 是 scrapy 框架基于 redis 数据库的组件,用于 scraoy 项目的分布式开发和部署。 有如下特征: 分布式爬取: 你可以启动多个 spider 工程,相互之间共享单个的 requests 队列,最适合广泛的多个域名的内容的抓取。 阅读全文
posted @ 2019-10-02 15:42 海纳百川_有容乃大 阅读(535) 评论(0) 推荐(0) 编辑