会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
今孝
你现在的努力,决定你未来站立的高度,所立之处,决定你看到什么样的风景。
博客园
首页
新随笔
联系
管理
订阅
2017年5月11日
第9章 scrapy-redis分布式爬虫
摘要: 9-1 分布式爬虫要点 1.分布式的优点 充分利用多机器的宽带加速爬取 充分利用多机的IP加速爬取速度 问:为什么scrapy不支持分布式? 答:在scrapy中scheduler是运行在队列的,而队列是在单机内存中的,服务器上爬虫是无法利用内存的队列做任何处理,所以scrapy不支持分布式。 2.
阅读全文
posted @ 2017-05-11 21:52 今孝
阅读(11137)
评论(0)
推荐(0)
编辑
公告
//制作目录