会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
cloudsky
QQ群交流:微服务架构实战 181942601 nlp研究与讨论 1群598640522
大数据_人工智能交流621943289
博客园
首页
新随笔
联系
管理
订阅
2015年3月24日
众推平台架构——分布式爬虫
摘要: 分布式爬虫架构经过新一轮的投票,项目的范围已经基本确定。大家决定 全力以付,集中攻克“分布式爬虫”。分布式爬虫架构1使用队列,即生产者,消费都模式。由于生产者将规则生成到队列,然后由爬虫集群(消费者)到队列中取规则,然后按优先级等规则进行爬取。分布式爬虫架构2类似于webmagic,webmagic...
阅读全文
posted @ 2015-03-24 11:34 skyme
阅读(8863)
评论(1)
推荐(1)
编辑
公告