2021年11月18日
通用爬虫(Broad Crawls) scrapy
摘要： Scrapy默认对特定爬取进行优化。这些站点一般被一个单独的Scrapy spider进行处理， 不过这并不是必须或要求的(例如，也有通用的爬虫能处理任何给定的站点)。 除了这种爬取完某个站点或没有更多请求就停止的”专注的爬虫”，还有一种通用的爬取类型，其能爬取大量(甚至是无限)的网站， 仅仅受限于 阅读全文
posted @ 2021-11-18 19:04 brady-wang 阅读(449) 评论(0) 推荐(0) 编辑