2018年5月24日
Scrapy学习-23-分布式爬虫
摘要： scrapy-redis分布式爬虫 分布式需要解决的问题 request队列集中管理 去重集中管理 存储管理 分布式需要解决的问题 request队列集中管理 去重集中管理 存储管理 去重集中管理 存储管理 去重集中管理 存储管理 使用scrapy-redis实现分布式爬虫 使用scrapy-red 阅读全文
posted @ 2018-05-24 09:11 前路~ 阅读(638) 评论(0) 推荐(0) 编辑