会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
HoneyCY
博客园
首页
新随笔
联系
订阅
管理
2018年12月18日
Python 爬虫之 Scrapy 分布式原理以及部署
摘要: Scrapy分布式原理 关于Scrapy工作流程 Scrapy单机架构 上图的架构其实就是一种单机架构,只在本机维护一个爬取队列,Scheduler进行调度,而要实现多态服务器共同爬取数据关键就是共享爬取队列。 分布式架构 我将上图进行再次更改 这里重要的就是我的队列通过什么维护? 这里一般我们通过
阅读全文
posted @ 2018-12-18 11:53 HoneyCY
阅读(1232)
评论(1)
推荐(0)
编辑
公告