会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
tulintao
博客园
首页
联系
订阅
管理
2019年10月25日
scrapy-redis
摘要: scrapy-redis的源码并不多,因为它是利用Redis数据库重新实现了scrapy中的某些组件 对于一个分布式爬虫框架: 1、分配爬取的任务,为每个爬虫分配不重复的爬取任务 2、汇总爬取的数据,将所有爬取到的数据汇总到一个地方 scrapy-redis为多个爬虫分配爬取任务的方式是:让所有爬虫
阅读全文
posted @ 2019-10-25 14:06 tulintao
阅读(246)
评论(0)
推荐(0)
编辑
公告