爬虫架构梳理

1. 该爬虫项目借鉴分布式主从设计模式， 使用Work-Master设计模式， 适用于大规模爬虫任务需要！

 

 

 

 

 

 

各个类之间的关系， 如下图所示：