Heritrix之旅之ToeThread

Heritrix是一个多线程的程序，里面使用工作线程来处理url，这些工作线程称为torThreads，这些toethread统一的被ToePool所管理,Toepool通过setSize方法来管理运行的toethread数目

	public void setSize(int newsize) {
		targetSize = newsize;
		int difference = newsize - getToeCount();
		if (difference > 0) {
			// must create threads
			for (int i = 1; i <= difference; i++) {
				startNewThread();
			}
		} else {
			// must retire extra threads
			int retainedToes = targetSize;
			Thread[] toes = this.getToes();
			for (int i = 0; i < toes.length; i++) {
				if (!(toes[i] instanceof ToeThread)) {
					continue;
				}
				retainedToes--;
				if (retainedToes >= 0) {
					continue; // this toe is spared
				}
				// otherwise:
				ToeThread tt = (ToeThread) toes[i];
				tt.retire();
			}
		}
	}

 

ToeThread从Frontier中获取待处理的url，然后ToeThread对url进行一系列的处理，当所有的处理流程完成之后，调用Frontier的finished方法告知url抓取完毕，ToeThread重新获取新的url

这是ToeThread中的run方法的代码

                //从Frontier处获取待处理的url
                CrawlURI curi = controller.getFrontier().next();
                
                synchronized(this) {
                    continueCheck();
                    setCurrentCuri(curi);
                }
                
                //对url进行处理
                processCrawlUri();
                
                setStep(STEP_ABOUT_TO_RETURN_URI);
                continueCheck();

                //通知Frontier已经完成
                synchronized(this) {
                    controller.getFrontier().finished(currentCuri);
                    setCurrentCuri(null);
                }
结合前面Frontier的图，可能看的就会明白一点了。