搜索引擎Scrapy精讲—深度优先与广度优先原理

 深度优先和广度优先

  • 1. 网站的树结构

  • 2. 深度优先算法和实现

  • 3. 广度优先算法和实现

 

网站树形结构

 

深度优先

是从左到右深度进行爬取的,以深度为准则从左到右的执行(递归方式实现)Scrapy默认是深度优先的

 

 

 

 

广度优先

是以层级来执行的,(列队方式实现)

 

 

posted @   pupilheart  阅读(889)  评论(0编辑  收藏  举报
努力加载评论中...
小强带你挣小钱v:zln88896

公告

点击 更新中
点击右上角即可分享
微信分享提示