爬虫的进阶须知

一 设计抓取策略

　　1 深度优先

　　2 广度优先

　　3 部分的PageRank策略

　　4 OPIC策略

　　5 大站优先策略

　　https://blog.csdn.net/a575553272/article/details/80265182

　　https://blog.csdn.net/Bone_ACE/article/details/50989104

二 垂直搜索爬虫

　　垂直搜索与通用搜索不同之处在于，通用搜索不需要理会网站哪些资源是需要的，哪些是不需要的，一并抓取并将其文本部分做索引。而垂直搜索里，我们的目标网站往往在某一领域具有其专业性，其整体网站的结构相当规范，并且垂直搜索往往只需要其中一部分具有垂直性的资源，所以垂直爬虫相比通用爬虫更加精确。

　　垂直爬虫抓取数据分成三个步骤：list-crawling(列表url抓取)，detail-crawling(详情url抓取)，data-extract and store (数据抽取和存储)，其实原理上并不复杂，以下是整体垂直搜索的架构及流程图：

　　

 

　　1.  首先运营人员会选定需要抓取的目标网站，录入数据库的站源表sitelist，即这些url作为爬虫的seed。同时，开发人员会在爬虫规则库中增加相应网站的规则解析。

　　2．crawler读取种子url，根据事先制定的规则（一般是正则表达式规则），从种子url中进行列表页url的抽取，并提取出来保存到数据库中（实际工作中，直接抽取出来放到调度队列中，继续抓取）。需要注意的是，很多网站的列表页的url都是通过js的方式处理的，因此制定规则时，需要懂得js分析。

　　3.  进行列表页url的请求，之后抽取出详情页的url列表

       4.  进行详情页url的请求，之后抽取出具体的数据。

　　以上就是垂直爬虫的工作过程，为什么要分成三步走呢？这样能够将风险分化，不至于某个地方错了，必须整个重来。

 

三 改善调度算法

　　https://www.cnblogs.com/wangshuyi/p/6737389.html

 

四 增量爬取

　　https://blog.csdn.net/zcc_0015/article/details/50608063

 

五 监控流程

　　pass