scrapy 和 scrapy-redis
摘要:
1、scrapy 是一个 Python 爬虫框架,爬取效率极高,但是不支持分布式。而 scrapy-redis 时一套基于 redis 数据库、运行在 scrapy 框架之上的组件,可以让 scrapy 支持分布式策略。Slaver 端共享 Master端 redis 数据库里的 item 队列,请 阅读全文
posted @ 2019-07-02 16:31 海纳百川_有容乃大 阅读(125) 评论(0) 推荐(0) 编辑