摘要：
Heritrix3.1.0系统里面的组件以及对象之间总是存在千丝万缕的联系，本人为了表述某个功能的具体实现总是不得不牵涉到相关的对象及其实现，不然本人无法将该功能实现的逻辑描述清楚；可是在逻辑上本人又不得不考虑到话题的连贯性，本人姑妄言之，读者姑妄听之本文接下来要分析的是ServerCache类及CrawlHost和CrawlServer类，了解这些类的作用是继续分析的前提ServerCache是抽象类，在全局上为Heritrix3.1.0系统应用提供CrawlHost对象和CrawlServer对象的注册/** * Abstract class for crawl-global regist 阅读全文
2013年4月28日 #
摘要：
上文分析了Heritrix3.1.0系统的对请求认证机制的封装，本文接下来分析Heritrix3.1.0系统对cookies的处理的封装Heritrix3.1.0系统提供了CookieStorage接口，用于提供cookies的存储CookieStorage接口很简单，声明了保存cookies对象的Map容器的方法和获取cookies对象的Map容器的方法public interface CookieStorage extends Lifecycle { SortedMap<String,Cookie> getCookiesMap(); void saveCookiesMap(Ma 阅读全文
摘要：
上文分析了Heritrix3.1.0系统对HttpClient组件的请求处理类的封装，本文接下来分析Heritrix3.1.0系统是怎样封装请求证书的Heritrix3.1.0系统的package org.archive.modules.credential里面的相关类都是与请求证书有关的先来了解一下CredentialStore类，该类用Map类型存储了应用的所有证书(Credential)，外部只要调用这个类就可以获取证书该类重要方法如下KeyedProperties kp = new KeyedProperties(); public KeyedProperties getKeye... 阅读全文
摘要：
Heritrix 3.1.0 源码解析（二十三）中我们分析了Heritrix3.1.0系统是怎样扩展HttpClient组件的HttpConnection连接对象和相应的管理接口HttpConnectionManagerHttpConnection连接对象里面创建了SOCKET连接，但是还没用向输出流写数据，也没有从输入流读数据， 这里面HttpClient组件是怎么实现的，Heritrix3.1.0系统又是怎么扩展的呢？我们知道，当我们用HttpClient组件执行网页请求时，根据我们要请求的网页是GET请求还是POST请求我们创建相应的GetMethod类或PostMethod类（当然还有 阅读全文
摘要：
上文中我们提到Recorder httpRecorder = Recorder.getHttpRecorder()对象封装了SOCKET连接的输出流和输入流，我们下面来看看Recorder类是怎么封装SOCKET的输入流和输出流的Recorder类的重要成员如下，主要包括封装的输入流和输出流以及有序的字符序列（缓存到本地文件） private RecordingInputStream ris = null; private RecordingOutputStream ros = null; /** * Backing file basename. * ... 阅读全文