会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
brucelong
博客园
首页
新随笔
联系
订阅
管理
2019年9月5日
使用scrapy-redis搭建分布式爬虫环境
摘要: scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署。 有如下特征: 分布式爬取 您可以启动多个spider工程,相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 分布
阅读全文
posted @ 2019-09-05 16:22 BruceLong
阅读(576)
评论(0)
推荐(0)
编辑
公告