2020年12月7日
scrapy-redis分布式爬虫使用及docker swarm集群部署
摘要： scrapy-redis分布式爬虫使用及docker swarm集群部署 成果 实现了用docker swarm 集群部署scrapy-redis分布式漫画爬虫，数据统一存储至mongo。 概述 本文大致分为两部分 scrapy-redis分布式爬虫使用流程 使用docker部署分布式爬虫 部署流程 阅读全文
posted @ 2020-12-07 00:13 lymmurrain 阅读(602) 评论(0) 推荐(0) 编辑