lucene初次使用

什么是全文检索？

将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。

这部分从非结构化数据中提取出的然后重新组织的信息，我们称之索引

这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full-text Search)。

---

什么实现全文检索呢？

cene是apache下的一个开放源代码的全文检索引擎工具包。提供了完整的查询引擎和索引引擎，部分文本分析引擎。

Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能。

---

全文搜索主要用在数据量大，数据结构不固定，比如电商网站的搜索商品，部分论坛 的站内搜索。

---

对要搜索的原始内容进行索引构建一个索引库的过程

　　　　采集原始文档 ----->创建文档---->分析文档----->索引文档

从索引库中搜索内容:

　　　　创建查询-------->执行查询，从索引库中搜索----->渲染搜索结果

1.创建文档对象

　　创建文档 在文档中包含一个一个的域（Field）

注意：每个Document可以有多个Field，不同的Document可以有不同的Field，同一个Document可以有相同的Field（域名和域值都相同）

每一个文档都有唯一的id

 

---

 

2.  分析文档

分析文档，Lucene通过分析器将用户输入的分词称为语汇单元，每个拆分出来单词是叫Term，不同的域拆分出来的相同的单词是不同的term。

在term中有两部分的内容一部分是文档的域名还有一部分是单词的内容

3.创建索引

对所有文档分析得出的语汇单元进行索引，索引的目的是为了搜索，最终要实现只搜索被索引的语汇单元从而找到Document（文档）。

注意：创建索引是对语汇单元索引，通过词语找文档，这种索引的结构叫倒排索引结构。

---

 

实际测试

导包jar

Lucene包：

lucene-core-4.10.3.jar

lucene-analyzers-common-4.10.3.jar

lucene-queryparser-4.10.3.jar

其它：

commons-io-2.4.jar

junit-4.9.jar

第三方中文分析器

IKAnalyzer2012FF_u1.jar

package com.xiaou.lucene;
/**
 * 实现利用Lucene创建索引库
 * @author xiaou
 *
 */

import java.io.File;
import java.io.IOException;
import java.net.URISyntaxException;

import org.apache.commons.io.FileUtils;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.LongField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.BooleanClause.Occur;
import org.apache.lucene.search.BooleanQuery;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.NumericRangeQuery;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.junit.Test;
import org.wltea.analyzer.lucene.IKAnalyzer;


public class Test1  {
    @Test
    //基本的创建
    public void testCreate() throws IOException {
//        第一步：创建一个indexwriter对象。
//        1）指定索引库的存放位置Directory对象
        Directory directory = FSDirectory.open(new File("G:\\java\\02\\15-luncene&solr检索\\index"));
//        2）指定一个分析器，对文档内容进行分析。
        Analyzer analyzer = new StandardAnalyzer();
        IndexWriterConfig config  = new IndexWriterConfig(Version.LATEST, analyzer);
        IndexWriter indexWriter = new IndexWriter(directory, config);
        File[] listFiles = new File("G:\\java\\02\\15-luncene&solr检索\\searchsource").listFiles();
        for (File file : listFiles) {
//            第二步：创建document对象。
            Document doc = new Document();
//            第三步：创建field对象，将field添加到document对象中。
            String file_name = file.getName();
            Field fileNameField = new TextField("fileName", file_name, Store.YES);
            String file_context = FileUtils.readFileToString(file, "UTF-8");
            Field fileContent = new TextField("fileContent", file_context, Store.YES);
            doc.add(fileNameField);
            doc.add(fileContent);
//            第四步：使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。
            indexWriter.addDocument(doc);
        }
    
//        第五步：关闭IndexWriter对象。
        indexWriter.close();
    }
    @Test
    //基本查询
    public void testQuery() throws IOException, URISyntaxException {
//        第一步：创建一个Directory对象，也就是索引库存放的位置。
        Directory directory = FSDirectory.open(new File("G:\\java\\02\\15-luncene&solr检索\\index"));
//        第二步：创建一个indexReader对象，需要指定Directory对象。
        IndexReader indexReader = DirectoryReader.open(directory);
//        第三步：创建一个indexsearcher对象，需要指定IndexReader对象
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//        第四步：创建一个TermQuery对象，指定查询的域和查询的关键词。
        TermQuery query = new TermQuery(new Term("fileContent", "love"));
//        第五步：执行查询。
        TopDocs search = indexSearcher.search(query, 10);
        System.out.println("结果数："+search.totalHits);
//        第六步：返回查询结果。遍历查询结果并输出。
        ScoreDoc[] scoreDocs = search.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            //拿到ID
            int docID = scoreDoc.doc;
            Document document = indexSearcher.doc(docID);
            System.out.println("文件名："+document.get("fileName"));
            System.out.println("文件内容"+document.get("fileContent"));
            System.out.println("--------------------------");
        }
//        第七步：关闭IndexReader对象
        indexReader.close();
    }
    
    @Test
    //使用中文分词器
    public void TestChinese() throws IOException {
        IndexWriter indexWriter = getIndexWriter();
        File[] listFiles = new File("G:\\java\\02\\15-luncene&solr检索\\searchsource").listFiles();
        for (File file : listFiles) {
//            第二步：创建document对象。
            Document doc = new Document();
//            第三步：创建field对象，将field添加到document对象中。
            String file_name = file.getName();
            Field fileNameField = new TextField("fileName", file_name, Store.YES);
            String file_context = FileUtils.readFileToString(file, "UTF-8");
            Field fileContent = new TextField("fileContent", file_context, Store.YES);
            long file_size = FileUtils.sizeOf(file);
            System.out.println(file_size);
            Field fileSize = new LongField("fileSize", file_size, Store.YES);
            doc.add(fileNameField);
            doc.add(fileContent);
            doc.add(fileSize);
//            第四步：使用indexwriter对象将document对象写入索引库，此过程进行索引创建。并将索引和document对象写入索引库。
            indexWriter.addDocument(doc);
        }
    
//        第五步：关闭IndexWriter对象。
        indexWriter.close();
    }
    
    @Test
    //添加
    public void testAdd() throws IOException {
        IndexWriter indexWriter = getIndexWriter();
        Document doc = new Document();
        doc.add(new TextField("filename","dw", Store.YES));
        doc.add(new LongField("fileSize",1000L, Store.YES));
        doc.add(new TextField("fileContent", "i love you",Store.YES));
        indexWriter.addDocument(doc);
        indexWriter.close();
    }
    private IndexWriter getIndexWriter() throws IOException {
        //        第一步：创建一个indexwriter对象。
        //        1）指定索引库的存放位置Directory对象
                Directory directory = FSDirectory.open(new File("G:\\java\\02\\15-luncene&solr检索\\index"));
        //        2）指定一个分析器，对文档内容进行分析。
                Analyzer analyzer = new IKAnalyzer();
                IndexWriterConfig config  = new IndexWriterConfig(Version.LATEST, analyzer);
                IndexWriter indexWriter = new IndexWriter(directory, config);
        return indexWriter;
    }
    
    @Test
    public void deleteAllIndex() throws IOException {
        IndexWriter indexWriter = getIndexWriter();
        indexWriter.deleteAll();
        //indexWriter.commit();
        indexWriter.close();
    }
    @Test
    public void deleteIndexByQuery() throws Exception {
        IndexWriter indexWriter = getIndexWriter();
        Query query = new TermQuery(new Term("fileContent","love"));
        indexWriter.deleteDocuments(query);
        indexWriter.close();
    }
    //查询
    private IndexSearcher getIndexSearcher() throws IOException {
//        第一步：创建一个Directory对象，也就是索引库存放的位置。
        Directory directory = FSDirectory.open(new File("G:\\java\\02\\15-luncene&solr检索\\index"));
//        第二步：创建一个indexReader对象，需要指定Directory对象。
        IndexReader indexReader = DirectoryReader.open(directory);
//        第三步：创建一个indexsearcher对象，需要指定IndexReader对象
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
        return indexSearcher;
    }
    private void printResult(IndexSearcher indexSearcher,Query query) throws IOException {
//        第五步：执行查询。
        TopDocs search = indexSearcher.search(query, 20);
        System.out.println("结果数："+search.totalHits);
//        第六步：返回查询结果。遍历查询结果并输出。
        ScoreDoc[] scoreDocs = search.scoreDocs;
        for (ScoreDoc scoreDoc : scoreDocs) {
            //拿到ID
            int docID = scoreDoc.doc;
            Document document = indexSearcher.doc(docID);
            System.out.println("文件名："+document.get("fileName"));
            System.out.println("--------------------------------");
        }
//        第七步：关闭IndexReader对象
        indexSearcher.getIndexReader().close();
    }
    @Test
    //范围查询
    public void testNumericRangeQuery() throws Exception {
        IndexSearcher indexSearcher = getIndexSearcher();
        Query rangeQuery = NumericRangeQuery.newLongRange("fileSize", 40L,100L , true, true);
        printResult(indexSearcher, rangeQuery);
    }
    @Test
    //多条件查询
    public void testBooleanQuery () throws IOException {
        IndexSearcher indexSearcher = getIndexSearcher();
        BooleanQuery query = new BooleanQuery();
        Query query1 = new TermQuery(new Term("fileName", "apache"));
        Query query2 = new TermQuery(new Term("fileContent", "apache"));
        query.add(query1, Occur.MUST);
        query.add(query2, Occur.SHOULD);
        printResult(indexSearcher, query);
    }
    

}