会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
航林
博客园
首页
新随笔
联系
管理
订阅
2017年6月21日
常见的分布式爬虫,实现思路
摘要: 基于Redis的三种分布式爬虫策略 前言: 爬虫是偏IO型的任务,分布式爬虫的实现难度比分布式计算和分布式存储简单得多。 个人以为分布式爬虫需要考虑的点主要有以下几个: ? 爬虫任务的统一调度 ? 爬虫任务的统一去重 ? 存储问题 ? 速度问题 ? 足够“健壮”的情况下实现起来越简单/方便越好 ?
阅读全文
posted @ 2017-06-21 09:11 航林
阅读(3808)
评论(0)
推荐(0)
编辑
公告