Lucene索引创建及使用方法

Lucene创建及使用方法

1.1 Lucene简介

Lucene.NET是一个全文搜索框架,，lucene的功能很单一，说到底，就是你给它若干个字符串，然后它为你提供一个全文搜索服务，告诉你你要搜索的关键词出现在哪里。知道了这个本质，你就可以发挥想象做任何符合这个条件的事情了。你可以把站内新闻都索引了，做个资料库；你可以把一个数据库表的若干个字段索引起来，那就不用再担心因为“%like%”而锁表了。

1.2 lucene的工作方式

lucene提供的服务实际包含两部分：一入一出。所谓入是写入，即将你提供的源（本质是字符串）写入索引或者将其从索引中删除；所谓出是读出，即向用户提供全文搜索服务，让用户可以通过关键词定位源。

用通俗的话讲就是：先创建索引，再从索引读取想要的数据。

A.   写入流程：即创建索引

一、            首先实例化一个构造器

 

  IndexWriter writer = new IndexWriter("D:/index/", new PanGuAnalyzer(), true);   //索引的存储位置  

 

这个构造函数具有三个参数：

1.      path：索引文件存放的路径。如：String path = "E:\\index";

2.      a：分词工具，因为lucene为外国人所开发，所以对中文分词不是很友好，但人类的智慧是无穷的，这里引入盘古分词，专门针对中文的分词。如：a= new PanGuAnalyzer()，盘古分词官网http://pangusegment.codeplex.com/

3.      create：它是一个boolean型变量，如果为true，表示要重写指定的存放索引目录下的索引文件；如果为false，表示在指定存放索引目录下已经存在的索引文件的基础上，向其中继续追加新的索引文件。

二、            创建索引

第一步并未创建索引，只是实例化了一个索引器，建立索引的过程是在一个IndexWriter索引器实例存在的前提下，通过为其添加Document，这样才能真正添加索引。

代码如下：

 

foreach (var item in productlist)
            {
                Document doc = new Document();
                doc.Add(new Field("id", item.id.ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));//其中ID、Name、Add都是数据库中的字段名，这个应该可以看明白的吧  
                doc.Add(new Field("productname", item.productname, Field.Store.YES, Field.Index.TOKENIZED));
                doc.Add(new Field("productdes", item.productdes, Field.Store.YES, Field.Index.UN_TOKENIZED));
                doc.Add(new Field("tradename", item.tradename, Field.Store.YES, Field.Index.UN_TOKENIZED));
                doc.Add(new Field("companyname", item.companyname, Field.Store.YES, Field.Index.UN_TOKENIZED));
                doc.Add(new Field("fhdes", item.fhdes, Field.Store.YES, Field.Index.TOKENIZED));
                doc.Add(new Field("pic", item.pic, Field.Store.YES, Field.Index.UN_TOKENIZED));
                doc.Add(new Field("areaname", item.areaname, Field.Store.YES, Field.Index.UN_TOKENIZED));
                doc.Add(new Field("tradeid", item.tradeid.ToString(), Field.Store.YES, Field.Index.UN_TOKENIZED));
                writer.AddDocument(doc);
            }

 

 

看完上面的代码先引入几个概念

1.      Field:可以理解成索引文件中一个个的字段块，占用空间按字段长度分配。

2.      Store:一个内部类，它是static的，主要为了设置Field的存储属性.

 

public static final Store COMPRESS = new Store("COMPRESS"); // 在索引中压缩存储Field的值
 
public static final Store YES = new Store("YES");//在索引中存储Field的值
 
public static final Store NO = new Store("NO"); // 在索引中不存储Field的值

3.      Index: 通过Index设置索引方式,，不对Field进行索引，所以这个Field就不能被检索到(一般来说，建立索引而使它不被检索，这是没有意义的)，如果对该Field还设置了Field.Store为Field.Store.YES或Field.Store.COMPRESS，则可以检索

 

public static final Index TOKENIZED = new Index("TOKENIZED"); // 对Field进行索引，同时还要对其进行分词(由Analyzer来管理如何分词)
 
public static final Index UN_TOKENIZED = new Index("UN_TOKENIZED"); // 对Field进行索引，但不对其进行分词
 
public static final Index NO_NORMS = new Index("NO_NORMS"); // 对Field进行索引，但是不使用Analyzer

 

三、            优化索引，关闭写入

 

writer.Optimize(); //添加完所有document，我们对索引进行优化，优化主要是将多个索引文件合并到一个，有利于提高索引速度。 

writer.Close();//随后将writer关闭，这点很重要。

 

B.   读出流程（即使用索引）

1.       创建一个容器来存放你从索引文件中读取到的数据，这里我们使用Table

  private DataTable dt()
        {
            DataTable mytab = new DataTable();
            mytab.Columns.Add("ID");
            mytab.Columns.Add("TRADENAME");
            mytab.Columns.Add("AREANAME");
            mytab.Columns.Add("COMPANYNAME");
            mytab.Columns.Add("FHDES");
            mytab.Columns.Add("PRODUCTNAME");
            mytab.Columns.Add("PIC");
            mytab.Clear();
            return mytab;
        }

 

 

2.       读取索引文件中的数据

 

 private IndexSearcher LuceneSource()
        {
            string INDEX_STORE_PATH = "D:/index/";  //INDEX_STORE_PATH 为索引存储目录   
            return new IndexSearcher(INDEX_STORE_PATH);
        }

 

3.       这一步我们需要得到过滤后数据，即查询条件，你可以理解成SQL里的where条件

lucene的搜索相当强大，它提供了很多辅助查询类，每个类都继承自Query类，各自完成一种特殊的查询，你可以像搭积木一样将它们任意组合使用，完成一些复杂操作；另外lucene还提供了Sort类对结果进行排序，提供了Filter类对查询条件进行限制。你或许会不自觉地拿它跟SQL语句进行比较：“lucene能执行and、or、order by、where、like‘%xx%’操作吗？”回答是：“当然没问题！”

a.       TermQuery

首先介绍最基本的查询，如果你想执行一个这样的查询：“在content域中包含‘lucene’的document”，那么你可以用TermQuery：

Term t = new Term("content", " lucene");Query query = new TermQuery(t);

 

b.       BooleanQuery

如果你想让产品名称或者产品发货说明匹配关键字，那么你可以用：

 

                strkeyword = Common.ProductAbout.GetKeyWordsSplitBySpace(strkeyword, new PanGuTokenizer());
                QueryParser companynameparser = new QueryParser("companyname", new PanGuAnalyzer(true));
                Query companynamequery = companynameparser.Parse(strkeyword);
                QueryParser productnameparser = new QueryParser("productname", new PanGuAnalyzer(true));
                Query productdesquery = productnameparser.Parse(strkeyword);
                bq.Add(productdesquery, BooleanClause.Occur.SHOULD);
                bq.Add(companynamequery, BooleanClause.Occur.SHOULD);

 

Tip:清单此处的BooleanClause.Occur，此类有2个重要的属性，SHOULD和MUST，SHOULD你就理解成SQL里’OR’，MUST理解成SQL里的’AND’,此处表示要同时满足productdesquery和idquery

 

 

c.      WildcardQuery

如果你想对某单词进行通配符查询，你可以用WildcardQuery，通配符包括’?’匹配一个任意字符和’*’匹配零个或多个任意字符，例如你搜索’use*’，你可能找到’useful’或者’useless’：

Query query = new WildcardQuery(new Term("content", "use*");

 

d.      PhraseQuery

你可能对中日关系比较感兴趣，想查找‘中’和‘日’挨得比较近（5个字的距离内）的文章，超过这个距离的不予考虑，你可以：

PhraseQuery query = new PhraseQuery();
query.setSlop(5);query.add(new Term("content ", "中"));
query.add(new Term("content", "日"));

 

那么它可能搜到“中日合作……”、“中方和日方……”，但是搜不到“中国某高层领导说日本欠扁”。

e.    PrefixQuery

如果你想搜以‘中’开头的词语，你可以用PrefixQuery：

PrefixQuery query = new PrefixQuery(new Term("content ", "中");

 

f.    FuzzyQuery

FuzzyQuery用来搜索相似的term，使用Levenshtein算法。假设你想搜索跟‘wuzza’相似的词语，你可以：

Query query = new FuzzyQuery(new Term("content", "wuzza");

 

你可能得到‘fuzzy’和‘wuzzy’。

g.    RangeQuery

另一个常用的Query是RangeQuery，你也许想搜索时间域从20060101到20060130之间的document，你可以用RangeQuery：

RangeQuery query = new RangeQuery(new Term(“time”, “20060101”), new Term(“time”, “20060130”), true);

 

最后的true表示含边界。

4.       取得从索引文件中过滤后的数据

 

 private Hits LuceneFilteridSource(BooleanQuery bq)
        {

            IndexSearcher mysearch = LuceneSource();
            Sort sort = new Sort(new SortField("ID", SortField.DOC, false));//排序  
            return mysearch.Search(bq, sort);

        }

 

Sort是对数据进行排序，比如这里对ID

进行排序.

 

注意，LUCENE不支持关键词为空的情况，所以如果你想把索引文件中所有的数据都调用出来，那可以用如下方法

 

 for (int i = 0; i < mysearch.MaxDoc(); i++)
                {
                    Document doc = mysearch.Doc(i);
                    FillingTable(mytab, doc);
                }

 

5.       把过滤后的数据并扔入Table数据源

  private void FillingTable(DataTable dt, Document doc)
        {
            DataRow myrow;
            myrow = dt.NewRow();
            myrow[0] = doc.Get("id").ToString();
            myrow[1] = doc.Get("tradename").ToString();
            myrow[2] = doc.Get("areaname").ToString();
            myrow[3] = doc.Get("companyname").ToString();
            myrow[4] = doc.Get("fhdes").ToString();
            myrow[5] = doc.Get("productname").ToString();
            myrow[6] = doc.Get("pic").ToString();
            dt.Rows.Add(myrow);
            myrow.AcceptChanges();
        }

 

6.       OK，得到了table数据源，你可以在此基础上任意使用这些数据了。