分布式爬虫
前言
首先我们看一下scrapy架构,
一,分布式爬虫原理:
scrapy爬虫分三大步:
- 第一步,获取url,并生成requests
- 第二步,spider将requests通过引擎,给调度器,调度器将requests放入队列中,等待下载器来取,下载器下载页面后,返回response
- 第三步,spider获取到下载器给的response,解析,存储。
如果我们想进一步提高scrapy的爬取效率,在这三大步中,第一步第三步速度很快,大部分时间是浪费在第二步,只有提高下载器的下载速度才能提高爬取效率。如果两个Scheduler同时从队列里面取 Request ,每个Scheduler 都有其对应的 Downloader,那么
在带宽足够、正常爬取且不考虑队列存取压力的情况下, 爬取效率会有什么 ?没错,爬取效率会翻倍。
这样, Scheduler可以扩展多个,Downloader 也可以扩展多个, 而爬取队列Queue必须始终为1个,也就是所谓的共享爬取队列。 这样才能保证 Scheduer 从队列里调度某个Queue之后,其他 Scheduler 不会重复调度此 Request ,就可以做到多个 Schduler 同步爬取 这就是分布式爬虫的基本雏形
二,redis数据库:
多台主机协同爬取的前提是共享爬取队列,我们将共享爬取队列放入数据库中,方便多台主机同时获取requests,而选择redis数据库主要是以下三个原因。
- 维护爬取队列,分布式爬虫的requests队列是存在于redis数据库中,redis数据库是基于内存存储的数据库,存取效率高。
- 去重问题,既去掉Queue重复的requests,避免重复下载,redis数据库有集合的存储数据结构。每台主机生成的request,和redis数据库中的requests指纹对比,没有的话,就加入集合,有的话,就舍弃掉。
- 防止中断,requests队列是放在数据库中的,爬虫停止后,重新爬取,会按着原来爬取的队列接着爬取,而不是重新爬取。
三,分布式爬虫实现
实现分布式爬虫,首先实现一个共享的爬取队列,还要实现去重的功能,另外,重写一个 Scheduer ,使之可以从共享的爬取队列存取 Request。这些功能前人帮我们实现好了,就是Scrapy-Redis的python包。我们只需要导入直接用就可以了。
全世界的程序员们联合起来吧!