摘要：
在实际的爬虫项目开发过程中，对待抓取的URL列表的设计时很重要的一部分。很多时候，顺序很重要，比如：伦理道德上讲究长幼有序；对应URL，要先抓取哪一个页面呢？对于决定这些URL顺序的方法，成为抓取策略。 接下来介绍几种常见的抓取策略：深度优先遍历策略、宽度优先遍历策略、大站优先策略、最佳优先搜索策略 阅读全文
摘要：
基本结构 网络爬虫是搜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个互联网内容的镜像备份。通用的爬虫基本结构如下图所示。 工作流程 爬虫的基本工作流程如下： 选取一些种子URL 。例如某地区的新闻列表1~10页的URL。 将这些URL放入待抓取的URL列表中。 提取 阅读全文