摘要： 以下是三种分布式爬虫的设计分析，分布式系统有待进一步了解与学习。 策略一： Slaver端从Master端拿任务（Request/url/ID）进行数据抓取，在抓取数据的同时也生成新任务，并将任务抛给Master。Master端只有一个Redis数据库，负责对Slaver提交的任务进行去重、加入待爬 阅读全文