摘要： ZeroCrawler V0.1是一只简单的多线程爬虫，其基本架构如下： 整个程序是这样运作的：Scheduler不断从Queue取出URL，如果发现可用的爬虫（空闲线程），那么就将URL分给一只爬虫。然后爬虫完成下载网页，抽取URL，保存网页的工作后就回归Scheduler（变回空闲线程）。直到Queue没有待爬取的URL，并且所有爬虫都空闲下来，就停止程序。 Scheduler的主要工作就是建立线程池，从Queue中取出URL，分配URL给线程。容易出错的地方是退出条件。如果只是判断Queue为空就退出是不行的。因为这时可能还有爬虫在工作中，而它可能提取到新的URL加到Que... 阅读全文