Luence

Luence

是Apache软件基金会的一个项目，是一个开发源码的全文检索引擎工具包，是一个全文检索引擎的一个架构。提供了完成的查询引擎和检索引擎，部分文本分析引擎。

全文检索程序库，虽然与搜索引擎相关，但是不能混淆。

 

官方网址：https://lucene.apache.org/

帮助文档：https://lucene.apache.org/core/4_9_1/index.html

 

官方解释：

Lucene is a Java full-text search engine. Lucene is not a complete application, but rather a code library and API that can easily be used to add search capabilities to applications.

 

倒排索引

了解Luence要知道倒排索引；

通俗解释，我们通常都是通过查找文件位置及文件名，再查找文件的内容。倒排索引可以理解为通过文件内容来查找文件位置及文件名的。

倒排索引是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。

倒排索引也是lucence的索引核心。

 

文件内容可以表示一个field，文件名称可以表示一个field，将整个field进行分词，然后根据分词创建索引，建立一个个term；

如：文件的内容作为一个field，命名为"contents"，将文件内容进行分词，假设文件内容为"A B"，分词结果为"A","B"，这样term的信息就为两条，field的内容为"contents"，term对应的文本内容分别为"A"和"B"。

当查找指定分词的时候就可以获取这个分词所在的doc，并获取doc相关的信息。

 

demo编程

例子参考官方demo; package位置：org.apache.lucene.demo

 

自己写了一个demo

依赖的jar包：

commons-io-2.4.jar
lucene-analyzers-common-4.9.1.jar
lucene-core-4.9.1.jar
lucene-queries-4.9.1.jar
lucene-queryparser-4.9.1.jar

 

MyIndexFiles.java

import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.*;
import org.apache.lucene.queryparser.classic.ParseException;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.junit.Test;

import java.io.File;
import java.io.IOException;

/**
 * Created by Edward on 2016/7/25.
 */
public class MyIndexFiles {


    public static void main(String[] args) throws IOException {

        //文件方式存储索引文件
        FSDirectory directory = FSDirectory.open(new File("D:\\documents\\Lucene\\MyDemo\\index"));

        //文本解析器，分词器
        Analyzer analyzer= new StandardAnalyzer(Version.LUCENE_4_9);

        //索引写配置，要指定解析器及版本信息
        IndexWriterConfig indexWriterConfig = new IndexWriterConfig(Version.LUCENE_4_9, analyzer);

        //创建写索引
        IndexWriter indexWriter = new IndexWriter(directory, indexWriterConfig );

        //路径
        File path = new File("D:\\documents\\Lucene\\MyDemo\\docs");
        //文件列表
        File[] listFile = path.listFiles();
        for(File file: listFile){
            //创建doc
            Document doc = new Document();

            //获取文件属性信息
            String filename = file.getName();
            long lastModified = file.lastModified();

            //通过commons-io-2.4.jar包中的FileUtils方法，读文件内容转化为String
            String readFile2Sting = FileUtils.readFileToString(file);

            //将field添加到doc
            //StringField不进行分词，当做一个分词
            //Field的有索引和存储属性，
                 //Field.Store.NO代表数据不进行存储，仅能索引到，多用来处理文本内容，可获取文件名然后通过文件位置打开文件获取内容
                 //Field.Store.YES代表存储数据，通常用来直接获取文件路径
            doc.add(new StringField("filename", filename, Field.Store.YES));
            doc.add(new LongField("modify", lastModified, Field.Store.YES));
            doc.add(new TextField("contents",readFile2Sting, Field.Store.NO));

            //新增的方式
            //indexWriter.addDocument(doc);

            //更新的方式， 更新与term匹配的docs
            indexWriter.updateDocument(new Term("filename", file.getName()), doc);
        }
        indexWriter.close();
    }


    @Test
    public void serach() throws IOException, ParseException {

        //本地索引文件
        Directory directory = FSDirectory.open(new File("D:\\documents\\Lucene\\MyDemo\\index"));

        //读索引目录
        IndexReader indexReader = DirectoryReader.open(directory);

        //创建索引搜索对象
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);

        Analyzer analyzer= new StandardAnalyzer(Version.LUCENE_4_9);

        //查询解析  指定查询的item,解析器,版本
        QueryParser queryParse = new QueryParser(Version.LUCENE_4_9, "contents", analyzer);

        //查询内容
        Query query = queryParse.parse("111");

        //查询指定条数
        int num = 6;
        TopDocs topDocs= indexSearcher.search(query, num);

        //采集数
        ScoreDoc[] docs = topDocs.scoreDocs;

        for(ScoreDoc doc:docs){

            //获取doc编号
            int i = doc.doc;

            //通过文档编号获取文档信息
            Document d = indexSearcher.doc(i);

            //打印文档信息
            System.out.println(d.get("filename"));
            System.out.println(d.get("modify"));
            System.out.println(d.get("contents"));
        }
        indexReader.close();
    }

}