摘要：今天有兴趣重新看了一下heritrix3.1.0系统里面的线程池源码，heritrix系统没有采用java的cocurrency包里面的并发框架，而是采用了线程组ThreadGroup类来实现线程池的（线程组类似于树结构，一个线程组包含多个子线程组或多个子线程，数据结构类似于composite模式，... 阅读全文

摘要：接下来本文还要继续分析Heritrix3.1.0系统中的CrawlController类及BdbFrontier类，因为本人觉得前面部分对相关逻辑还没用理清头绪，更重要的原因是由于每篇文章的关注点不同，本人不能在同一篇文章将相关类的所有关注点一一道来本文要分析的是，Heritrix3.1.0系统是怎... 阅读全文

摘要：本文接下来先分析CandidatesProcessor处理器，我们称之为候选处理器，该处理器的功能是对网页抽取的外链进行过滤，通过过滤的链接则添加到Frontier边界部件的BdbWorkQueue工作队列；CandidatesProcessor处理器对CrawlURI candidate对象的过滤... 阅读全文

摘要：本文主要分析FetchFTP处理器，该处理器用于ftp文件的下载，该处理器的实现是通过封装commons-net-2.0.jar组件来实现ftp文件下载在FetchFTP处理器里面定义了内部类SocketFactoryWithTimeout（SOCKET工厂），用于创建SOCKET/** *... 阅读全文

摘要：本文要分析的是FetchHTTP处理器，该处理器实现CrawlURI curi对象URL的请求（OutputStream写入数据）并且返回InputStreamFetchHTTP处理器有很多成员变量，均为设置远程请求的相关参数，本人只解释其中重要成员变量/** * Whether or no... 阅读全文

摘要：本文要分析的是FetchDNS处理器，该处理器的功能是解析CrawlURI curi对象的DNS地址，该处理器是采用dnsjava-2.0.3.jar组件进行解析DNS的（我们可以参考本文代码采用dnsjava-2.0.3.jar组件API解析DNS）FetchDNS处理器的重要成员变量// Def... 阅读全文

摘要：从BdbFrontier对象的next方法（从某个Classkey标识的BdbWorkQueue工作队列）取出来的CrawlURI uri对象第一步要进入的处理器是Preselector处理器，该处理器主要是对CrawlURI uri对象根据配置文件里面配置的正则表达式进行过滤，通过过滤的Crawl... 阅读全文

摘要：作为CrawlURI uri对象在处理器链中的生命周期，本人认为逻辑上应该从FrontierPreparer处理器开始，再经过后续的处理器（其实具体CrawlURI uri对象的生命周期，是在它的父级CrawlURI uri对象的抽取处理器处理时已经初具雏形，父级CrawlURI uri对象与它的子级CrawlURI uri对象的生命周期是交错的，关于处理器的流程我在前面已经描述过）经过FrontierPreparer处理器处理的CrawlURI uri对象下一步才是进入BdbFrontier对象的Schedule方法添加到BdbWorkQueue工作队列该处理器主要是为CrawlURI ur 阅读全文

摘要：本文接下来分析CrawlServer类和CrawlHost类，两者都实现了IdentityCacheable接口（可缓存对象接口）CrawlServer对象代表服务器，里面存储了服务器的相关信息，包括服务名 端口 robots信息 Credential集合及相关操作等private static final long serialVersionUID = 3L; public static final long ROBOTS_NOT_FETCHED = -1; /** only check if robots-fetch is perhaps superfluous * ... 阅读全文

摘要：Heritrix3.1.0系统里面的组件以及对象之间总是存在千丝万缕的联系，本人为了表述某个功能的具体实现总是不得不牵涉到相关的对象及其实现，不然本人无法将该功能实现的逻辑描述清楚；可是在逻辑上本人又不得不考虑到话题的连贯性，本人姑妄言之，读者姑妄听之本文接下来要分析的是ServerCache类及CrawlHost和CrawlServer类，了解这些类的作用是继续分析的前提ServerCache是抽象类，在全局上为Heritrix3.1.0系统应用提供CrawlHost对象和CrawlServer对象的注册/** * Abstract class for crawl-global regist 阅读全文

摘要：上文分析了Heritrix3.1.0系统的对请求认证机制的封装，本文接下来分析Heritrix3.1.0系统对cookies的处理的封装Heritrix3.1.0系统提供了CookieStorage接口，用于提供cookies的存储CookieStorage接口很简单，声明了保存cookies对象的Map容器的方法和获取cookies对象的Map容器的方法public interface CookieStorage extends Lifecycle { SortedMap<String,Cookie> getCookiesMap(); void saveCookiesMap(Ma 阅读全文

摘要：上文分析了Heritrix3.1.0系统对HttpClient组件的请求处理类的封装，本文接下来分析Heritrix3.1.0系统是怎样封装请求证书的Heritrix3.1.0系统的package org.archive.modules.credential里面的相关类都是与请求证书有关的先来了解一下CredentialStore类，该类用Map类型存储了应用的所有证书(Credential)，外部只要调用这个类就可以获取证书该类重要方法如下KeyedProperties kp = new KeyedProperties(); public KeyedProperties getKeye... 阅读全文

摘要：Heritrix 3.1.0 源码解析（二十三）中我们分析了Heritrix3.1.0系统是怎样扩展HttpClient组件的HttpConnection连接对象和相应的管理接口HttpConnectionManagerHttpConnection连接对象里面创建了SOCKET连接，但是还没用向输出流写数据，也没有从输入流读数据， 这里面HttpClient组件是怎么实现的，Heritrix3.1.0系统又是怎么扩展的呢？我们知道，当我们用HttpClient组件执行网页请求时，根据我们要请求的网页是GET请求还是POST请求我们创建相应的GetMethod类或PostMethod类（当然还有 阅读全文

摘要：上文中我们提到Recorder httpRecorder = Recorder.getHttpRecorder()对象封装了SOCKET连接的输出流和输入流，我们下面来看看Recorder类是怎么封装SOCKET的输入流和输出流的Recorder类的重要成员如下，主要包括封装的输入流和输出流以及有序的字符序列（缓存到本地文件） private RecordingInputStream ris = null; private RecordingOutputStream ros = null; /** * Backing file basename. * ... 阅读全文

摘要：上文分析了Heritrix3.1.0系统是怎么扩展HttpClient组件的ProtocolSocketFactory接口用于创建HTTP和HTTPS连接的SOCKET对象的接下来我们分析Heritrix3.1.0系统是怎么扩展HttpClient组件的HttpConnection对象的（创建SOCKET连接）先看一下HttpConnection类的成员变量// ----------------------------------------------------- Instance Variables /** My host. */ private String hos... 阅读全文

摘要：本文继续分析Heritrix3.1.0系统的源码，其实本人感觉接下来待分析的问题不是一两篇文章能够澄清，本人不能因为迫于表述而乱了问题本身的章法，接下来的分析的Heritrix3.1.0系统封装HttpClient组件可能要分几篇文章来解析我们知道，Heritrix3.1.0系统是通过封装HttpClient组件（里面封装了Socket）来与服务器通信的，Socket的输出流写入数据，输入流接收数据那么Heritrix3.1.0系统是怎样封装Httpclient（Heritrix3.1.0系统是采用的以前的Apache版本）组件的呢?我们可以看到，在FetchHTTP处理器里面有一段静态代码块 阅读全文

摘要：上文中的抽象类Scoper关联到另外一个成员变量DecideRule scope，我不得不先中断处理器类的分析（后面再继续处理器分析），来插叙一下DecideRule scope对象，我说了，DecideRule scope成员是用来控制CrawlURI caUri对象的范围照例先来浏览一下DecideRule相关类图DecideRule类是一个抽象类，用来判断一个CrawlURI caUri对象是接受还是拒绝public DecideResult decisionFor(CrawlURI uri) { if (!getEnabled()) { return... 阅读全文

摘要：本文接着上文分析，CandidateChain candidateChain处理器链相关联的处理器CandidateChain处理器链有两个处理器org.archive.crawler.prefetch.CandidateScoperorg.archive.crawler.prefetch.FrontierPreparer要了解上面的处理器，我们先要了解另外一个抽象类Scoper，继承自抽象父类Processor，该类用来控制CrawlURI caUri对象的范围，里面有一个成员变量DecideRule scope protected DecideRule scope; public D... 阅读全文

摘要：本文继续分析与heritrix3.1.0系统的处理器相关的源码我们照例先来浏览一下class uml图所有的处理器都继承自抽象父类Processor，其中重要的方法如下/** * Processes the given URI. First checks {@link #ENABLED} and * {@link #DECIDE_RULES}. If ENABLED is false, then nothing happens. * If the DECIDE_RULES indicate REJECT, then the * {@link #innerR... 阅读全文

摘要：从本文开始，我们来分析与Heritrix3.1.0系统的处理器相关的源码，在Heritrix系统里面，待处理的CrawlURI cURI对象经过系统里面的处理器的重重处理最后才得以修成正果因为处理器很多，除了处理器本身的继承层次的逻辑外，在系统里面将功能相近的处理器归入同一个处理器链Heritrix3.1.0系统逻辑上抽象为两大处理器链（FetchChain和DispositionChain，CandidateChain逻辑上是属于DispositionChain）我们先来看一下处理器链与处理器的相关UML图上面是静态class图，处理器链ProcessorChain维持着一定数目的处理器pr 阅读全文