会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
cs_1993
博客园
::
首页
::
新随笔
::
联系
::
订阅
::
管理
公告
2019年8月19日
Redis实现分布式爬虫
摘要: redis分布式爬虫 概念:多台机器上可以执行同一个爬虫程序,实现网站数据的爬取 原生的scrapy是不可以实现分布式爬虫, 原因如下: 调度器无法共享 管道无法共享 scrapy-redis组件:专门为scrapy开发的一套组件。 该组件可以让scrapy实现分布式 pip install scr
阅读全文
posted @ 2019-08-19 14:21 cs_1993
阅读(1303)
评论(0)
推荐(0)
编辑