会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
牛公的跑奔
罗马不是一天建成的,但一定是一天一天建成的。
博客园
首页
新随笔
联系
管理
2020年6月2日
三步将一个普通的scrapy爬虫变为分布式爬虫
摘要: 要将一个scrapy项目变为一个scrapy.redis项目只需要修改下面三点就可以了: 将爬虫类从scrapy.Spider 变成scrapy_redis.spiders.RedisSpider;或者从scripy.CrawlSpider变成scrapy_redis.spiders.RedisCr
阅读全文
posted @ 2020-06-02 11:44 牛公的跑奔
阅读(335)
评论(0)
推荐(0)
编辑
公告
总访问量: