分布式爬虫

一.分布式爬虫简介

　　1.介绍：

　　　　分布式爬虫就是多台计算机上都安装爬虫程序，重点是联合采集。比如爬虫A，B，C分别在三台服务器上，需要一个状态管理器集中分配，去重这三个爬虫的url，状态管理器也是一个服务，需要部署在某一个服务器上。

　　2.优点：

　　　　（1）充分利用多机器的带宽加速爬取；

　　　　（2）充分利用多机器的ip加速爬取速度

　　3.分布式需要解决的问题：

　　　　（1）request队列集中处理

　　　　（2）去重集中处理

二.Redis的简单使用

　　1.Redis的数据类型：

　　　　1.1（String）字符串：

　　　　　　

键值对应

　　　　1.2（Hash）哈希：

设置多个键值对每个 hash 可以存储 2³² -1 键值对（40多亿）

 

　　　　1.3（List）列表：

左边添加，右边添加，左边取前四个数据

　　　　1.4（Set）集合：

添加一个字符串到set()集合，成功返回1，如果已经存在则返回0，最大的成员数为 2³² - 1

　　　　1.5（zset）有序集合：

添加元素到集合，不同的是每个元素都会关联一个double类型的分数，通过分数排序。

　　2.常用命令：

　　　　可参考：http://www.runoob.com/redis/redis-sets.html

三.scrapy-redis搭建分布式爬虫

　　1.github源码地址：

　　　　https://github.com/rmax/scrapy-redis

 　　2.将scrapy-redis项目clone下到本地，需要src下的scrapy-redis文件：

　　　　　导入scrapy-redis并安装redis（pip install redis）设置：

＃在redis中启用调度存储请求队列。
SCHEDULER  =  “ scrapy_redis.scheduler.Scheduler ”

＃确保所有蜘蛛通过redis共享相同的重复过滤器。
DUPEFILTER_CLASS  =  “ scrapy_redis.dupefilter.RFPDupeFilter ”

＃默认请求序列化程序是pickle，但它可以更改为
具有加载和转储功能的任何模块＃。请注意，
＃ python版本
之间的pickle不兼容。＃警告：在蟒蛇3.x中，串行器必须返回字符串键和支持
＃字节的值。由于这个原因，json或msgpack模块
默认不会＃工作。在python 2.x中没有这样的问题，您可以使用
＃ 'json'或'msgpack'作为序列化程序。
＃ SCHEDULER_SERIALIZER = “scrapy_redis.picklecompat”

＃不要清理redis队列，允许暂停/恢复抓取。
＃ SCHEDULER_PERSIST =真

＃使用优先级队列安排请求。（默认）
＃ SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'

＃替代队列。
＃ SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue' 
＃ SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'

＃最大空闲时间，防止蜘蛛在分布式爬网时被关闭。
＃这仅在队列类为SpiderQueue或SpiderStack时才有效，
＃也可能在您的蜘蛛第一次启动时阻塞同一时间（因为队列为空）。
＃ SCHEDULER_IDLE_BEFORE_CLOSE = 10

＃将已删除的项目存储在redis中进行后期处理。
ITEM_PIPELINES  = {
     ' scrapy_redis.pipelines.RedisPipeline '： 300
}

＃项目管道序列化并存储此redis密钥中的项目。
＃ REDIS_ITEMS_KEY ='％（蜘蛛）S：项的

＃项目序列化程序默认为ScrapyJSONEncoder。你可以使用任何
＃导入的路径，一个可调用对象。
＃ REDIS_ITEMS_SERIALIZER = 'json.dumps'

＃指定连接到Redis时使用的主机和端口（可选）。
＃ REDIS_HOST = '本地主机' 
＃ REDIS_PORT = 6379

＃指定用于连接的完整Redis URL（可选）。
＃如果设置，则优先于REDIS_HOST和REDIS_PORT设置。
＃ REDIS_URL = 'redis的：//用户：通过@主机名：9001'

＃定制redis的客户参数（即：套接字超时等）
＃ REDIS_PARAMS = {} 
＃使用自定义redis的客户端类。
＃ REDIS_PARAMS [ 'redis_cls'] = 'myproject.RedisClient'

＃如果为True，则使用redis'``SPOP``操作。您必须使用``SADD`` 
＃命令将URL添加到redis队列。如果你这可能是有用的
＃要避免在开始的URL列表和重复的顺序
＃处理无关紧要。
＃ REDIS_START_URLS_AS_SET =假

＃默认启动网址RedisSpider和RedisCrawlSpider关键。
＃ REDIS_START_URLS_KEY = '％（名）S：start_urls'

＃使用除utf-8之外的其他编码进行redis。
＃ REDIS_ENCODING = 'latin1的'

　　3.配置setting：

# SCHEDULER覆盖原有的，在redis中启用调度存储请求队列
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 确保所有spider通过redis共享相同的重复过滤器
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 配置以便后期插入数据库等操作
ITEM_PIPELINES = {
    "scrapy_redis.pipelines.RedisPipeline": 300,
}

 

监听，取不到url不会退出，telnet一直监听

　　4.将网址推送到redis，运行lpush myspider:start_urls 起始url：

　　　　不设定redis_key,默认为spider：start_urls：

　　　　　　如：lpush jobbole:start_urls http://blog.jobbole.com/all-posts

 　　5.scrapy-redis源码介绍：

　　　　5.1collection.py：

　　　　　　get_redis_from_settings（）：将所有配置放到dict:params中，用于实例化redis对象。

　　　　　　get_redis（）:实例化redis对象，from_url方法优先。

　　　　5.2defaults.py:

　　　　　　设定默认连接参数。

　　　　5.3dupefilter.py(去重类，和scrapy的dupefilter.py几乎一模一样):

　　　　　　clear(self)：清除request_fingerprint记录

　　　　　　close（self，reason）：结束爬虫爬取时，调用

　　　　　    from_crawler(cls,crawler)：类方法，调用from_settings方法初始化

　　　　　    from_settings(cls,settings)：类方法初始化，预留钩子

　　　　　    log(self,request,spider)：根据传入的debug或者默认显示log

　　　　       request_fingerprint(self,request)：根据请求信息返回经过sha1计算后的值

　　　　 　  request_seen(self,request)调用request_fingerprint，判断是否访问过　　

　　　　5.4picklecompat.py:

 

 

　　　　　　process_item（）：调用_process_item。
　　　　　　_process_item（）：通过rpush方法放到redis的列表里。

　　　　5.6queue.py:使用redis制作的队列，有Fifo（先进先出）、Lifo（后进先出）、PriorityQueue（有序集合取第一个）三种

　　　　5.7scheduler.py(调度器类)：

　　　　　　enqueue_request（）：不是白名单且访问过的，往队列里放Request对象

　　　　　　next_request（）：从队列里取值

　　　　5.8spiders.py:爬虫类

　　　　5.9utils.py:

　　　　　　bytes_to_str（）：字节转成字符串，默认utf-8