开源通用爬虫框架YayCrawler-框架的运行机制

这一节我将向大家介绍一下YayCrawler的运行机制，首先允许我上一张图：

 

首先各个组件的启动顺序建议是Master、Worker、Admin，其实不按这个顺序也没关系，我们为了讲解方便假定是这个启动顺序。

一、Master端分析

    Master启动后会连接Redis查询任务队列状态，Master维持了四个状态的任务队列：待执行任务队列、执行中任务队列、成功任务队列和失败任务队列。Master内部有一个任务调度器，Master等Worker心跳包到来的时候，观察Worker是否还有任务分配的余地（每个Worker可以设置自己本地的任务队列的长度），如果Worker还能接收n个任务，任务调度器就会从待执行任务队列中取至多n个任务分配给该Worker。分配成功后，Master会把这n个任务从待执行队列移到执行中队列。

     Master会定期扫描已注册的Worker，如果某个Worker的上次心跳时间距离了现在已经超过了2倍Worker自身的心跳间隔，那么Master会认为此Worker已经失联，不能再给它分配任务，因此会把它从已注册列表移除。

    Master会定期扫描执行中队列，如果发现某个任务的分配时间距离现在已经超过了某个预设值，我们可以认为这个任务出现了差错，应该重新执行一遍，因此Master会重新把这个任务从执行中队列移到待执行队列，以便再次分配执行。

二、Worker端分析

    Worker的配置文件里面配置了Master的服务通信地址，Worker启动的时候就会通过这个地址向Master注册，注册的信息包括Worker的通信地址、心跳间隔、任务配额等。Worker注册成功后会定期向Master发送心跳，向Master汇报自己的状态的同时领取任务。

    Worker执行任务的过程就是一个常规爬虫的处理过程，这个过程我们后续会详细讲解，我们这里只需要明确一个事实：Worker执行完一个任务后会有两个状态和两种类型的结果数据。如果Worker成功执行任务，那么结果会包括两个部分：字段数据和子链接。字段数据会通知持久化组件进行持久化（默认字段数据是保存到MongoDB,图片会被下载到文件服务器）；子链接会通知到Master然后加入到待执行队列。不管任务执行成功与否，Worker都会给Master一个通知让其修改任务的状态。

三、Admin端分析

     Admin端主要是为用户提供一个操作的接口界面，这是一个Web工程，Admin端的配置文件里面也记录了Master的服务通信地址。用户在Admin端可以针对目标网页编写抽取规则，测试规则，直到保存到数据库。用户可以在界面上查看任务的执行情况，比如成功的任务，失败的任务，任务的结果等；用户也可以在界面上单个或批量发布普通任务/定时任务，这些任务最终会在Worker上执行，Worker在解析的时候会参考用户设置的解析规则。

四、其他

    Master、Worker和Admin三者之间的通信是基于http协议的，为了安全，通信过程中都使用了token, timestamp, nonce来对消息体进行签名并验证，只有签名正确才能通信成功。

   框架中的队列、持久化方式都是基于接口编程的，您可以很方便的用自己的实现来替换原有的处理。