摘要: 知乎优质话题 https://www.zhihu.com/question/22347972 阅读全文
posted @ 2019-05-16 21:58 adrrfsfsd 阅读(173) 评论(0) 推荐(0) 编辑
摘要: Scrapy-Redis 详解 通常我们在一个站站点进行采集的时候,如果是小站的话 我们使用scrapy本身就可以满足。 但是如果在面对一些比较大型的站点的时候,单个scrapy就显得力不从心了。 要是我们能够多个Scrapy一起采集该多好啊 人多力量大。 很遗憾Scrapy官方并不支持多个同时采集 阅读全文
posted @ 2019-05-16 17:14 adrrfsfsd 阅读(1426) 评论(0) 推荐(0) 编辑