lLucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开发源代码的全文检索引擎工具包。它是一个很强大的搜索库,能轻易的将搜索功能加入到任何程序中。能对文档搜索,文档内信息搜索或相关文档进行搜索等操作,源码由java实现,是一个成熟,卡原的检索工具。

  lucene的整体架构如下:

            

  从图中,我们可以看出,主要分为两个大步骤,一个是建立索引的过程,一个是通过关键字查找索引搜索的过程。

  索引过程,可以从DB,web,文件系统等来源抓取原始数据,对该数据通过以某种方式,对某些内容,建立索引文档。

  搜索过程,通过对用户搜索的关键字,通过分词等构造得到查询关键字的索引,进而从索引库中找到相关内容。

  

    从构建索引和搜索两个过程,来介绍lucene的使用。

   首先,得了解使用lucene的几个基本类。

  索引过程:

  1,indexWirter

  indexWriter是写索引的关键组件。这个类负责创建,打开或关闭索引,并想索引中写入内容。不过IndexWrier需要一个空间来储存内容,这个由Directory完成。

  2,Directory

  directory描述了lucene的储存路径。每个directory对应一个索引库。

  3,Analysis

  该类是对文档索引之前的操作,文档再索引之前会经过分词器的处理,比如一行“hello world",对空格处理的分词器就将该内容分成两个部分”hello“,”world",大写也有可能会都变成小写。这一些在索引之前的一些操作由分词器来操作。

  4,Field

  该类是保存一个文档中的的基本单位,也可以理解为一个文档中的一个属性。lucene中有不同的Field类,比如字符串类型,整型等,同时Field还有很多设置选项,比如该Field是否存储,是否被索引,已经存储格式等。是Document中携带信息单元。

  5,document

  document字面上意思就是一个文档,一个document是索引保存记录的基本单位,索引中保存的位置什么的就是document的位置信息,和db比较,可以理解为一个表中的一行记录。它代表一些域Field的集合。

  下面是一个索引过程的基本代码(lucene版本5.4.1)

  

            Analyzer analyzer = new SimpleAnalyzer();

            IndexWriterConfig config = new IndexWriterConfig(analyzer);
            config.setRAMBufferSizeMB(bufferMB);
            config.setMaxBufferedDocs(bufferSize);

            String path = "D:\\repositoryName";
            Directory index = FSDirectory.open(Paths.get(path));
            IndexWriter writer = new IndexWriter(index, config);

            for (int i = 0; i < 100; i++) {
                Document doc = new Document();
                doc.add(newStringField("msid", record.getMsid(),
                        Field.Store.YES));
                doc.add(new StringField("city", record.getCity(),
                        Field.Store.YES));
                writer.add(doc);

            }
            writer.close();

  检索过程:

  1,Term

  Term是搜索功能的基本单元,和构建索引过程的Field类似,不过Field可能会被分词成几个单元。term包含的是搜索的字段名称,以及对应搜索的内容。

  2,IndexReader,indexSearcher

  indexReader与indexWriter想对应。indexWriter是对索引的写入,而indexReader是对索引的读取。indexSearcher则是在indexReader上构建的一个搜索入口对象。

  3,Query

  query指的就是查询,query是指的查询的条件,有一个或多个Term构成。同时query有很多子类,分别对应不同类型,不同范围的查询。

  4,TopDocs

  topDocs是查询结果集,indexSearcher查询条件query得到的结果。包含的是结果document的id。

  搜索过程基本代码:

    

        String path ="D:\\repositoryName";
        Directory index = FSDirectory.open(Paths.get(path));
        IndexReader reader = DirectoryReader.open(index);
        
        IndexSearcher searcher = new IndexSearcher(reader);
        
        Query query = new TermQuery(new Term("msid","ttt"));
        List<Record> retList = new ArrayList<Record>();
        
        TopScoreDocCollector collector = TopScoreDocCollector.create(maxResultCount);
        searcher.search(query, collector);
        
          ScoreDoc[] hits = collector.topDocs().scoreDocs;
          
        for(int i=0;i<hits.length;++i) {
              int docId = hits[i].doc;

              Document document = searcher.doc(docId);
              String msid = document.get("msid");
        }
        
        reader.close();

 

 以上是lucene的一个最基本的功能构建索引与搜索的简单代码,能快速入手使用。