2021年5月9日
4-爬虫框架-分布式异步爬虫
摘要： ##### 分布式爬虫 一、分布式爬虫架构 爬虫Server，负责管理所有URL（即，爬虫客户端的下载任务）的状态，通过我们前面介绍的UrlPool（网址池）进行管理。 Server提供接口给Clients，以便它们获取URL和提交URL。 爬虫Client，负责URL的下载、网页的解析以及存储等各 阅读全文
posted @ 2021-05-09 23:04 技术改变命运Andy 阅读(183) 评论(0) 推荐(0) 编辑