导航

Lucene 的存储结构概述

Posted on 2010-05-13 11:34  蝈蝈俊  阅读(948)  评论(0)  编辑  收藏  举报

lucene的检索算法属于索引检索，即用空间来换取时间，对需要检索的文件、字符流进行全文索引，在检索的时候对索引进行快速的检索，得到检索位置，这个位置记录检索词出现的文件路径或者某个关键词。

lucene 在存储它的全文索引结构时，是有层次结构的，这涉及到5个层次：索引(Index)；段(Segment)；文档(Document)；域(Field)；词(Term)，他们的关系如下图所示：（lucene 索引存储结构概念图）

image

下图是Lucene生成的索引的一个实例，右边是对这5个层次的描述：

image

Lucene的索引结构是有层次结构的，主要分以下几个层次：

  • 索引(Index)：
    • 一个目录一个索引，在Lucene中一个索引是放在一个文件夹中的。
    • 如左图，同一文件夹中的所有的文件构成一个Lucene索引。
  • 段(Segment)：
    • 一个索引可以包含多个段，段与段之间是独立的，添加新文档可以生成新的段，不同的段可以合并。
      在建立索引的时候对性能影响最大的地方就是在将索引写入文件的时候, 所以在具体应用的时候就需要对此加以控制，段(Segment) 就是实现这种控制的。稍后详细描述段(Segment) 的控制策略。
    • 如上图，具有相同前缀文件的属同一个段，图中共两个段 "_0" 和 "_1"。
    • segments.gen和segments_5是段的元数据文件，也即它们保存了段的属性信息。
  • 文档(Document)：
    • 文档是我们建索引的基本单位，不同的文档是保存在不同的段中的，一个段可以包含多篇文档。
    • 新添加的文档是单独保存在一个新生成的段中，随着段的合并，不同的文档合并到同一个段中。
  • 域(Field)：
    • 一篇文档包含不同类型的信息，可以分开索引，比如标题，时间，正文，作者等，都可以保存在不同的域里。
    • 不同域的索引方式可以不同。
  • 词(Term)：
    • 词是索引的最小单位，是经过词法分析和语言处理后的字符串。

 

Lucene的索引结构中，即保存了正向信息，也保存了反向信息。

所谓正向信息：

  • 按层次保存了从索引，一直到词的包含关系：索引(Index) –> 段(segment) –> 文档(Document) –> 域(Field) –> 词(Term)
  • 也即此索引包含了那些段，每个段包含了那些文档，每个文档包含了那些域，每个域包含了那些词。
  • 既然是层次结构，则每个层次都保存了本层次的信息以及下一层次的元信息，也即属性信息，比如一本介绍中国地理的书，应该首先介绍中国地理的概况，以及中国包含多少个省，每个省介绍本省的基本概况及包含多少个市，每个市介绍本市的基本概况及包含多少个县，每个县具体介绍每个县的具体情况。
  • 如上图，包含正向信息的文件有：
    • segments_N保存了此索引包含多少个段，每个段包含多少篇文档。
    • XXX.fnm保存了此段包含了多少个域，每个域的名称及索引方式。
    • XXX.fdx，XXX.fdt保存了此段包含的所有文档，每篇文档包含了多少域，每个域保存了那些信息。
    • XXX.tvx，XXX.tvd，XXX.tvf保存了此段包含多少文档，每篇文档包含了多少域，每个域包含了多少词，每个词的字符串，位置等信息。

所谓反向信息：

  • 保存了词典到倒排表的映射：词(Term) –> 文档(Document)
  • 如上图，包含反向信息的文件有：
    • XXX.tis，XXX.tii保存了词典(Term Dictionary)，也即此段包含的所有的词按字典顺序的排序。
    • XXX.frq保存了倒排表，也即包含每个词的文档ID列表。
    • XXX.prx保存了倒排表中每个词在包含此词的文档中的位置。

 

段(Segment) 的控制策略

在建立索引的时候对性能影响最大的地方就是在将索引写入文件的时候, 所以在具体应用的时候就需要对此加以控制: 

Lucene默认情况是每加入10份文档(Document)就从内存往index文件写入并生成一个段(Segment) ,然后每10个段(Segment)就合并成一个段(Segment). 这些控制的变量如下： 

IndexWriter属性 默认值 描述
MergeFactory 10 控制segment合并的频率和大小
MaxMergeDocs Int32.MaxValue 限制每个segment中包含的文档数
MinMergeDocs 10 当内存中的文档达到多少的时候再写入segment

MaxMergeDocs用于控制一个segment文件中最多包含的Document数.比如限制为100的话,即使当前有10个segment也不会合并,因为合并后的segment将包含1000个文档,超过了限制。

MinMergeDocs用于确定一个当内存中文档达到多少的时候才写入文件,该项对segment的数量和大小不会有什么影响,它仅仅影响内存的使用,进一步影响写索引的效率。

 

参考资料：
第三节 Lucene索引文件格式分析
http://hi.baidu.com/hustwk/blog/item/133bd2333f867047ad4b5fd0.html

Lucene学习总结之三：Lucene的索引文件格式(1)
http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html
Lucene学习总结之三：Lucene的索引文件格式(2)
http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623599.html

Lucene入门与使用
http://blog.csdn.net/mxz391/archive/2007/05/15/1610140.aspx

Lucene 源代码剖析-4 索引文件结构(1)
http://www.cnblogs.com/eaglet/archive/2009/02/13/1390033.html

开放源代码的全文检索引擎Lucene
http://www.lucene.com.cn/about.htm

Lucene：基于Java的全文检索引擎简介
http://www.chedong.com/tech/lucene.html

Lucene应用架构分析
http://book.51cto.com/art/200807/80198.htm

浅谈Lucene架构——开源搜索架构(二) 
http://swanmsg.blog.sohu.com/112470914.html

lucene.net的索引的建立(三): 建立索引的问题
http://tech.ddvip.com/2008-10/122337481074843.html