摘要： 问题提出：爬虫的维护是个问题，网站发生变更时，需要重新开发获取、解析等；另外爬虫的爬取周期也是个问题，不同的网站爬取周期也不一样；爬虫会遇到封IP，代理池是一种方案，最好支持多机器部署；爬虫也要支持多线程；就需要一个统一的管理系统，管理系统最好是能够管理多种爬虫，在新增爬虫时，管理系统不用变更； 解 阅读全文