2020年4月17日
scrapy是广度优先还是深度优先？
摘要： 深度优先是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续追踪链接 广度优先，有人也叫宽度优先，是指将新下载网页发现的链接直接插入到待抓取URL队列的末尾，也就是指网络爬虫会先抓取起始页中的所有网页，然后在选择其中的一个连接网页，继续抓取在此网页中链接的 阅读全文
posted @ 2020-04-17 09:54 cknds 阅读(2260) 评论(0) 推荐(0) 编辑