会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
阿星Plus
生命不息,奋斗不止
管理
2019年7月17日
Scrapy-Redis分布式爬虫
摘要: Scrapy Redis分布式爬虫组件 Scrapy是一个框架,他本身是不支持分布式的。如果我们想要做分布式的爬虫,就需要借助一个组件叫做Scrapy Redis,这个组件正是利用了Redis可以分布式的功能,集成到Scrapy框架中,使得爬虫可以进行分布式。可以充分的利用资源(多个ip、更多带宽、
阅读全文
posted @ 2019-07-17 20:19 阿星Plus
阅读(211)
评论(0)
推荐(0)
编辑
公告