会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
技术改变命运Andy
博客园
首页
新随笔
联系
订阅
管理
2021年5月9日
4-爬虫框架-分布式异步爬虫
摘要: ##### 分布式爬虫 一、分布式爬虫架构 爬虫Server,负责管理所有URL(即,爬虫客户端的下载任务)的状态,通过我们前面介绍的UrlPool(网址池)进行管理。 Server提供接口给Clients,以便它们获取URL和提交URL。 爬虫Client,负责URL的下载、网页的解析以及存储等各
阅读全文
posted @ 2021-05-09 23:04 技术改变命运Andy
阅读(183)
评论(0)
推荐(0)
编辑