会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
骑骡子赶猪
公告
日历
导航
博客园
首页
新随笔
新文章
联系
订阅
管理
2019年1月16日
分布式 +rides
摘要: redis分布式部署 1.scrapy框架是否可以自己实现分布式? - 不可以。原因有二。 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器) 其二:多台机器爬取到的数据无法通过同一个管道对数据
阅读全文
posted @ 2019-01-16 20:02 骑骡子赶猪
阅读(287)
评论(0)
推荐(0)
编辑
Copyright © 2024 骑骡子赶猪
Powered by .NET 8.0 on Kubernetes