Lucene 3.0.0 之样例解析(3)-IndexFiles.java
一. consumer的来源
接着上一小节的内容, 还是从这一段程序(位于DocumentWriter.updateDocument(Document, Analyzer, Term) 中继续.
try {
// This call is not synchronized and does all the
// work
final DocWriter perDoc = state.consumer.processDocument();
// This call is synchronized but fast
finishDocument(state, perDoc);
success = true;
}
第一句话就是生成索引的一个过程, 下面我将详细的剖析这个过程.
首先一个问题就是:consumer是怎么来的? 什么时候初始化的, 我们用单步程序的方法来看看.
state是从上一节提到的
synchronized DocumentsWriterThreadState getThreadState(Document doc, Term delTerm)
中得到的, 我们进去看看... 原来是这一句话,
state = newArray[threadStates.length] = new DocumentsWriterThreadState(this);
跟踪进去看看, DocumentWriterThreadState的构造函数, 发现了这一句:
consumer = docWriter.consumer.addThread(this);
原来还是从docWriter中来的, 我们继续查看docWriter里面是怎样进行的初始化的.
DocumentsWriter(Directory directory, IndexWriter writer, IndexingChain indexingChain) throws IOException {
//...省略了
consumer = indexingChain.getChain(this);
if (consumer instanceof DocFieldProcessor) {
docFieldProcessor = (DocFieldProcessor) consumer;
}
}
咱们再看看indexingChain.getChain(this)这个方法是怎么回事
再跟踪进去, 就真相大白了:
DocConsumer getChain(DocumentsWriter documentsWriter) {
// Build up indexing chain:
final TermsHashConsumer termVectorsWriter = new TermVectorsTermsWriter(documentsWriter);
final TermsHashConsumer freqProxWriter = new FreqProxTermsWriter();
final InvertedDocConsumer termsHash = new TermsHash(documentsWriter, true, freqProxWriter,
new TermsHash(documentsWriter, false, termVectorsWriter, null));
final NormsWriter normsWriter = new NormsWriter();
final DocInverter docInverter = new DocInverter(termsHash, normsWriter);
return new DocFieldProcessor(documentsWriter, docInverter);
}
这个就是一个非常典型的 装饰者 + 责任链 模式, 这样当我们运行:
final DocWriter perDoc = state.consumer.processDocument();
时, 就会在IndexChain内部进行一系列的击鼓传花似的活动, 最终得到处理后的文档.
二. IndexChain的运转过程
前面说了, IndexChian就是一个击鼓传花的过程, 那这个花是怎么传的呢? 让我们来揭开这个迷
我画了一个流程图, 希望可以讲得更清楚一点, 另外我先说明一下图的颜色所代表的含义, 同样的颜色表示的是在同一个类中运行的过程. 箭头的指向表示过程或者关系, 比如说 DocInverterPerThread就是DocFieldProcessorPerThread的一个consumer. 前面的数字表示调用的顺序
1)的入口就是processDocument, 下面调用了一系列的startDocument()函数, 这些函数的作用是对之后做postings所使用的consumer, processor进行初始化, 其实大部分的startDocument()内容为空, 显然, 这是Lucene的开发者为后面的人所预留的一个接口. 这6部可以认为是初始化的内容.
然后下面一张图就是处理的一个具体内容了:
先从类命名来说说吧. 可以大概看出, 跟consumer相关的类有几种主要的命名规则:
1) 结尾带有Processor的, 这些类是一个基类, 负责调用结尾结尾是Consumer.
2) 结尾带有Consumer的, 这些类通常被Processor来调用
3) 结尾带有PerThread的, 这些类负责调用PerField的
也可以认为, PerThread是负责调用一系列的PerField, 为什么这样设计我也不能完全说清楚, 如果有哪些朋友知道请指教.
接下来我将详细的说说TermHashPerField.add()方法, 这个方法是把一个Term加入到Posting表中的过程, 我非常希望能够理解大部分的内容, 如果有错误或者不清楚的地方也希望大家能够不吝赐教
