会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
eilinge
博客园
首页
新随笔
联系
管理
订阅
2018年9月3日
scrapy--redis(分布式爬虫)
摘要: 分布式爬虫:scrapy本身并不是一个为分布式爬取而设计的框架,但第三方库scrapy-redis为其扩展了分布式爬取的功能,两者结合便是一个分布式Scrapy爬虫框架。在分布式爬虫框架中,需要使用某种通信机制协调各个爬虫的工作,让每一个爬虫明确自己的任务: 前期准备:Redis的安装与基本知识(h
阅读全文
posted @ 2018-09-03 16:17 eilinge
阅读(443)
评论(0)
推荐(0)
编辑