Lucene.Net 2.4.0无障碍学习和使用：搜索篇

用Lucene.Net的锁，可以理解为只读操作。它的Search方法是我们最常用的，该方法返回我们需要的结果。
2、QueryParser
QueryParser是Query的构造器，它的Parse方法会根据Analyzer构造一个合理的Query对象来应对搜索。

3、Query
Query类作为查询表达式的载体同样至关重要，它有丰富的子类，让我们可以应对多种变化的搜索需求，简单来说，我们想到的常用搜索Lucene.Net几乎已经都给我们实现了，你只要分辨应该使用那个类来搜索比较合理。

4、TopDocs（或者Hits）

这个类我们可以简单把它理解成它就是我们要的搜索结果集，通过它我们可以知道记录集合中的各个Document的详细信息：

view source
print?
01 /// <summary>
02   /// 显示搜索结果
03   /// </summary>
04   /// <param name="queryResult"></param>
05   private void ShowFileSearchResult(TopDocs queryResult)
06   {
07       if (queryResult == null || queryResult.totalHits == 0)
08       {
09           SetOutput("Sorry，没有搜索到你要的结果。");
10           return;
11       }
12  
13       int counter = 1;
14       foreach (ScoreDoc sd in queryResult.scoreDocs)
15       {
16           try
17           {
18               Document doc = searcher.Doc(sd.doc);
19               string id = doc.Get("id");//获取id
20               string fileName = doc.Get("filename");//获取文件名
21               string contents = doc.Get("contents");//获取文件内容
22               string result = string.Format("这是第{0}个搜索结果,Id为{1},文件名为:{2}，文件内容为:{3}{4}", counter, id, fileName, Environment.NewLine, contents);
23               SetOutput(result);
24           }
25           catch (Exception ex)
26           {
27               SetOutput(ex.Message);
28           }
29           counter++;
30       }
31   }

毫无疑问，搜索结果的准确性和Query以及QueryParser密切相关，其实还和一个东西有莫大的关系，下面我会再次提到。搜索的过程就是对索引文件进行查找的过程。我们可以直白地这样理解：索引文件好比是数据库，查询表达式就像是T-SQL语句，最后通过Lucene.Net搜索引擎找到结果集。

二、几种常用的Query介绍

A、单个索引文件进行搜索举例

1、TermQuery

view source
print?
01 private TopDocs TermQuery(string keyword, string field)
02 {
03     TopDocs docs = null;
04     int n = 10;//最多返回多少个结果
05     SetOutput(string.Format("正在检索关键字：{0}", keyword));
06     try
07     {
08         Term t = new Term(field, keyword);
09         Query query = new TermQuery(t);
10         Stopwatch watch = new Stopwatch();
11         watch.Start();
12         docs = searcher.Search(query, (Filter)null, n);
13         watch.Stop();
14         StringBuffer sb = "TermQuery搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
15         SetOutput(sb);
16     }
17     catch (Exception ex)
18     {
19         SetOutput(ex.Message);
20         docs = null;
21     }
22     return docs;
23 }

这个Query主要用来查询关键字。我在测试TermQuery的时候，输入”jeff“是可以搜索到一条记录的，然后我输入找到的这条记录内容中的两个汉字“喜欢”，这一次却没有返回结果(当然，搜索不到也不能表示Jeff Wong还没有喜欢的人。 ^_^)：

lucenenettermquery

为什么呢？上面我们说搜索的准确程度和Query、QueryParser相关，根据我参考的几个文档，我怀疑第三个因素就是Analyzer（期待高人指点，下面的BooleanQuery等几个搜索，用英文“think”可以搜出结果，但用中文也搜索不到结果），这里搜索不到的原因可能就是没有指定Analyzer为StandardAnalyzer（存疑，TO DO）。

注：只要在QueryParse的Parse方法中只有一个keyword,就会自动转换成TermQuery。

2、RangeQuery

用于查询范围，看下面的示例：

view source
print?
01 private TopDocs RangeQuery( string field,string start,string end,bool isInclude)
02     {
03         TopDocs docs = null;
04         int n = 10;//最多返回多少个结果
05         SetOutput(string.Format("正在检索,id范围为{0}~{1}", start,end));
06         try
07         {
08             Term beginT = new Term(field, start);
09             Term endT = new Term(field, end);
10             Query query = new RangeQuery(beginT, endT, isInclude);
11             Stopwatch watch = new Stopwatch();
12             watch.Start();
13             docs = searcher.Search(query, (Filter)null, n);
14             watch.Stop();
15             StringBuffer sb = "RangeQuery搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
16             SetOutput(sb);
17         }
18         catch (Exception ex)
19         {
20             SetOutput(ex.Message);
21             docs = null;
22         }
23         return docs;
24     }

取id在3和5之间的满足搜索条件的结果集。

3、BooleanQuery

这个Query也经常使用，用于搜索满足多个条件的查询：

view source
print?
01 private TopDocs BooleanQuery(string keyword, string field)
02     {
03         string[] words = keyword.Trim().Split(new char[] { ' ' }, StringSplitOptions.RemoveEmptyEntries);
04  
05         TopDocs docs = null;
06         int n = 10;//最多返回多少个结果
07         SetOutput(string.Format("正在检索关键字：{0}", keyword));
08         try
09         {
10             BooleanQuery boolQuery = new BooleanQuery();
11             Term beginT = new Term("id", "3");
12             Term endT = new Term("id", "5");
13             RangeQuery rq = new RangeQuery(beginT, endT, true); //rangequery id从3到5
14             for (int i = 0; i < words.Length; i++)
15             {
16                 TermQuery tq = new TermQuery(new Term(field, words[i]));//termquery
17                 boolQuery.Add(tq, BooleanClause.Occur.MUST);
18             }
19             boolQuery.Add(rq, BooleanClause.Occur.MUST);
20  
21             Stopwatch watch = new Stopwatch();
22             watch.Start();
23             docs = searcher.Search(boolQuery, (Filter)null, n);
24             watch.Stop();
25             StringBuffer sb = "BooleanQuery搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
26             SetOutput(sb);
27         }
28         catch (Exception ex)
29         {
30             SetOutput(ex.Message);
31             docs = null;
32         }
33         return docs;
34     }

希望大家注意到输入中文搜索不到结果的问题。我测试可能的几种情况都没有搜出结果。

4、PrefixQuery

PrefixQuery用于搜索是否包含某个特定前缀,常用于分类（Catalog）的检索：

view source
print?
01 private TopDocs PrefixQuery(string keyword, string field)
02 {
03     TopDocs docs = null;
04     int n = 10;//最多返回多少个结果
05     SetOutput(string.Format("正在检索关键字：{0}", keyword));
06     try
07     {
08         Term t = new Term(field, keyword);
09         PrefixQuery query = new PrefixQuery(t);
10         Stopwatch watch = new Stopwatch();
11         watch.Start();
12         docs = searcher.Search(query, (Filter)null, n);
13         watch.Stop();
14         StringBuffer sb = "PrefixQuery搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
15         SetOutput(sb);
16     }
17     catch (Exception ex)
18     {
19         SetOutput(ex.Message);
20         docs = null;
21     }
22     return docs;
23 }

本文测试的时候，输入“ja”就可以搜到包含java和javascript两项结果了。

5、FuzzyQuery

模糊查询：

view source
print?
01 private TopDocs FuzzyQuery(string keyword, string field)
02      {
03          TopDocs docs = null;
04          int n = 10;//最多返回多少个结果
05          SetOutput(string.Format("正在检索关键字：{0}", keyword));
06          try
07          {
08              Term t = new Term(field, keyword);
09              FuzzyQuery query = new FuzzyQuery(t);
10              Stopwatch watch = new Stopwatch();
11              watch.Start();
12              docs = searcher.Search(query, (Filter)null, n);
13              watch.Stop();
14              StringBuffer sb = "FuzzyQuery搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
15              SetOutput(sb);
16          }
17          catch (Exception ex)
18          {
19              SetOutput(ex.Message);
20              docs = null;
21          }
22          return docs;
23      }

我还从没有在项目中用过这个Query。

6、WildcardQuery

通配符搜索：

view source
print?
01 private TopDocs WildcardQuery(string keyword, string field)
02    {
03        TopDocs docs = null;
04        int n = 10;//最多返回多少个结果
05        SetOutput(string.Format("正在检索关键字：{0}", keyword));
06        try
07        {
08            Term t = new Term(field, keyword);
09            WildcardQuery query = new WildcardQuery(t);
10            Stopwatch watch = new Stopwatch();
11            watch.Start();
12            docs = searcher.Search(query, (Filter)null, n);
13            watch.Stop();
14            StringBuffer sb = "WildcardQuery搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
15            SetOutput(sb);
16        }
17        catch (Exception ex)
18        {
19            SetOutput(ex.Message);
20            docs = null;
21        }
22        return docs;
23    }

本文示例您可以试着输入“java*”，它可以把包含java和javascript两项结果取出来。感觉这个比较好使，但是必须熟悉通配符的使用语法（看上去和正则类似）。

7、PhraseQuery

查询短语,这里面主要有一个slop的概念, 也就是各个词之间的位移偏差, 这个值会影响到结果的评分，可以通过SetSlop方法进行设定：

view source
print?
01 private TopDocs PhraseQuery(string keyword, string field,int slop)
02     {
03         string[] words = keyword.Trim().Split(new char[] { ' ' }, StringSplitOptions.RemoveEmptyEntries);
04         TopDocs docs = null;
05         int n = 10;//最多返回多少个结果
06         SetOutput(string.Format("正在检索关键字：{0}", keyword));
07         try
08         {
09             PhraseQuery query = new PhraseQuery();
10             query.SetSlop(slop);
11             foreach (string word in words)
12             {
13                 Term t = new Term(field, word);
14                 query.Add(t);
15             }
16             Stopwatch watch = new Stopwatch();
17             watch.Start();
18             docs = searcher.Search(query, (Filter)null, n);
19             watch.Stop();
20             StringBuffer sb = "PhraseQuery搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
21             SetOutput(sb);
22         }
23         catch (Exception ex)
24         {
25             SetOutput(ex.Message);
26             docs = null;
27         }
28         return docs;
29     }

本文示例中，输入“think javascript”，并且设置slop为1，即可命中“think in javascript”那一项。

注意，旧的参考资料上说PhraseQuery对于短语的顺序是不管的（存疑，我测试的时候输入“javascript think”，就没有匹配任何结果）,这点在查询时虽然提高了命中率，却会对性能产生很大的影响。

到这里，您可能会说，哇，介绍了这么多，应该已经涵盖了大部分可能的搜索情况了吧？嘿嘿，好问题，实际上万里长征我们才走到第一步。上面的代码示例基本上都是对内容（contents）或者id进行匹配搜索，这里我还要补充一种情况，就是同一索引文件下，对多个字段进行搜索，比如下面的代码就是通过MultiFieldQueryParser实现的对id和contents同时进行搜索：

view source
print?
01 /// <summary>
02 /// 多字段搜索(以空格，逗号等分隔符隔开)
03 /// </summary>
04 /// <param name="keyword"></param>
05 /// <returns></returns>
06 private TopDocs MulFieldsSearch(string keyword)
07 {
08     TopDocs docs = null;
09     int n = 100;
10     SetOutput("正在检索关键字：" + keyword);
11     try
12     {
13         BooleanClause.Occur[] flags=new BooleanClause.Occur[]{BooleanClause.Occur.MUST,BooleanClause.Occur.MUST};
14         string[] fields = new string[] { "id", "contents" };
15         string[] values = keyword.Trim().Split(new char[] { ' ', ',' }, StringSplitOptions.RemoveEmptyEntries);
16         if (fields.Length != values.Length)
17         {
18             throw new Exception("字段和对应值不一致");
19         }
20         //MultiFieldQueryParser parser = new MultiFieldQueryParser(fields, new StandardAnalyzer());
21         //parser.SetDefaultOperator(QueryParser.Operator.OR);//或者的关系
22         //Query query = parser.Parse(keyword); 
23         Query query = MultiFieldQueryParser.Parse(values, fields, flags, new StandardAnalyzer());
24         Stopwatch watch = new Stopwatch();
25         watch.Start();
26  
27         docs = searcher.Search(query, (Filter)null, n); //排序获取搜索结果
28         watch.Stop();
29         StringBuffer sb = "搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
30         SetOutput(sb);
31     }
32     catch (Exception ex)
33     {
34         SetOutput(ex.Message);
35     }
36     return docs;
37 }

示例中，我输入“1  喜欢”，就可以把id为1，且内容保护“喜欢”的那条记录显示出来了。搜索结果如图：

lucenenetmultfieldsquery

注：上面介绍的这几种Query也适用于下面B中要介绍的多个索引文件搜索。

B、多个索引文件进行搜索举例

说一下我在本地的测试：索引文件index建好后，其他多余的索引文件我们就不费事了，直接把建好的索引index文件夹复制一份，命名为index1，然后就是通过MultiSearcher类进行多索引文件操作：

view source
print?
01 /// <summary>
02 /// 根据多个索引文件夹搜索
03 /// </summary>
04 /// <param name="keyword"></param>
05 /// <returns></returns>
06 private TopDocs MultiSearch(string keyword, string field)
07 {
08     TopDocs docs = null;
09     int n = 20;//最多返回多少个结果
10     SetOutput(string.Format("正在检索关键字：{0}", keyword));
11     Searchable[] abs = new Searchable[2];
12     abs[0] = new IndexSearcher(INDEX_STORE_PATH);
13     abs[1] = new IndexSearcher(INDEX_STORE_PATH1);
14     MultiSearcher searcher = new MultiSearcher(abs);//构造MultiSearcher
15     try
16     {
17         QueryParser parser = new QueryParser(field, new StandardAnalyzer());
18         Query query = parser.Parse(keyword);
19         Stopwatch watch = new Stopwatch();
20         watch.Start();
21         docs = searcher.Search(query, (Filter)null, n); //排序获取搜索结果
22         watch.Stop();
23         StringBuffer sb = "搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
24         SetOutput(sb);
25     }
26     catch (Exception ex)
27     {
28         SetOutput(ex.Message);
29         docs = null;
30     }
31     return docs;
32 }
33  
34 /// <summary>
35 /// 显示搜索结果
36 /// </summary>
37 /// <param name="queryResult"></param>
38 private void ShowMultFileSearchResult(TopDocs queryResult)
39 {
40     if (queryResult == null || queryResult.totalHits == 0)
41     {
42         SetOutput("Sorry，没有搜索到你要的结果。");
43         return;
44     }
45     Searchable[] abs = new Searchable[2];
46     abs[0] = new IndexSearcher(INDEX_STORE_PATH);
47     abs[1] = new IndexSearcher(INDEX_STORE_PATH1);
48     MultiSearcher searcher = new MultiSearcher(abs);//构造MultiSearcher
49     int counter = 1;
50     foreach (ScoreDoc sd in queryResult.scoreDocs)
51     {
52         try
53         {
54             Document doc = searcher.Doc(sd.doc);
55             string id = doc.Get("id");//获取id
56             string fileName = doc.Get("filename");//获取文件名
57             string contents = doc.Get("contents");//获取文件内容
58             string result = string.Format("这是第{0}个搜索结果,Id为{1},文件名为:{2}，文件内容为:{3}{4}", counter, id, fileName, Environment.NewLine, contents);
59             SetOutput(result);
60         }
61         catch (Exception ex)
62         {
63             SetOutput(ex.Message);
64         }
65         counter++;
66     }
67 }

搜索结果不出意外，通常都是匹配两份：

lucenenetmultsearch

三、排序

排序我们通常都需要用到Sort和SortField类，顾名思义，这两个类专门是用来排序的：

view source
print?
01 /// <summary>
02 /// 根据索引排序搜索
03 /// </summary>
04 /// <param name="keyword"></param>
05 /// <returns></returns>
06 private TopDocs SortSearch(string keyword, string field)
07 {
08     TopDocs docs = null;
09     int n = 10;//最多返回多少个结果
10     SetOutput(string.Format("正在检索关键字：{0}", keyword));
11     try
12     {
13         QueryParser parser = new QueryParser(field, new StandardAnalyzer());//针对内容查询
14         Query query = parser.Parse(keyword);//搜索内容 contents  (用QueryParser.Parse方法实例化一个查询)
15         Stopwatch watch = new Stopwatch();
16         bool sortDirection = true;
17  
18         if (chkIsSortById.Checked == true)//按照id升序
19         {
20             sortDirection = false;
21         } 
22         watch.Start();
23         Sort sort = new Sort();
24         SortField sf = new SortField("id", SortField.INT, sortDirection);//按照id字段排序，false表示升序,ture表示逆序
25         //SortField sf = new SortField("filename", SortField.DOC, false);//按照filename字段排序，false表示升序
26  
27         sort.SetSort(sf);
28  
29         //多个条件排序
30         //Sort sort = new Sort();
31         //SortField f1 = new SortField("id", SortField.INT, false);
32         //SortField f2 = new SortField("filename", SortField.DOC, false);
33         //sort.SetSort(new SortField[] { f1, f2 });
34         docs = searcher.Search(query, (Filter)null, n, sort); //排序获取搜索结果
35         watch.Stop();
36         StringBuffer sb = "搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
37         SetOutput(sb);
38     }
39     catch (Exception ex)
40     {
41         SetOutput(ex.Message);
42         docs = null;
43     }
44     return docs;
45 }

可以按照多个字段进行排序，据可靠消息，排序会降低搜索效率，所以通常对于数据量较频繁或者较大的搜索，通常都会采取某一些策略，先取出来再在程序中进行排序。

下图是简单的按照id升序的排序结果：

lucenenetsortsearch

四、分页

本文的分页搜索主要就是利用旧文介绍的一个分页控件，根据返回的结果总数（TopDocs的totalHits），利用当前页和每页记录数进行分页，而不是像数据库分页一样，一次就取出某一页的每页记录数，严格来讲，不算Lucene.Net自身的正确的分页（Lucene.Net的另一种分页需要用到缓存），待我再看看源码研究研究，过段时间再总结一下。

view source
print?
001 /// <summary>
002 /// 根据索引分页搜索
003 /// </summary>
004 /// <param name="keyword"></param>
005 /// <returns></returns>
006 private TopDocs PagerSearch(string keyword, string field)
007 {
008     TopDocs docs = null;
009     int n = 10000;//最多返回多少个结果
010     SetOutput(string.Format("正在检索关键字：{0}", keyword));
011     try
012     {
013         QueryParser parser = new QueryParser(field, new StandardAnalyzer());//针对内容查询
014         Query query = parser.Parse(keyword);//搜索内容 contents  (用QueryParser.Parse方法实例化一个查询)
015         Stopwatch watch = new Stopwatch();
016         watch.Start();
017         docs = searcher.Search(query, (Filter)null, n); //排序获取搜索结果
018         watch.Stop();
019         StringBuffer sb = "搜索完成,共用时：" + watch.Elapsed.Hours + "时 " + watch.Elapsed.Minutes + "分 " + watch.Elapsed.Seconds + "秒 " + watch.Elapsed.Milliseconds + "毫秒";
020  
021  
022         SetOutput(sb);
023     }
024     catch (Exception ex)
025     {
026         SetOutput(ex.Message);
027         docs = null;
028     }
029     return docs;
030 }
031  
032 /// <summary>
033 /// 显示分页搜索结果
034 /// </summary>
035 /// <param name="queryResult"></param>
036 private void ShowPagerSearchResult(TopDocs queryResult,int currentPage)
037 {
038     if (queryResult == null || queryResult.totalHits == 0)
039     {
040         SetOutput("Sorry，没有搜索到你要的结果。");
041         return;
042     }
043  
044     int counter = 1;
045     int start = (currentPage - 1) * recordsPerPage;//开始记录
046     int end = currentPage * recordsPerPage;//结束记录
047     if (end > queryResult.totalHits)
048     {
049         end = queryResult.totalHits;
050     }
051     for (int i = start; i < end; i++)
052     {
053         ScoreDoc sd = queryResult.scoreDocs[i];
054         try
055         {
056             Document doc = searcher.Doc(sd.doc);
057             string id = doc.Get("id");//获取id
058             string fileName = doc.Get("filename");//获取文件名
059             string contents = doc.Get("contents");//获取文件内容
060             string result = string.Format("这是第{0}页第{1}个搜索结果,Id为{2},文件名为:{3}，文件内容为:{4}{5}",currentPage, counter, id, fileName, Environment.NewLine, contents);
061             SetOutput(result);
062         }
063         catch (Exception ex)
064         {
065             SetOutput(ex.Message);
066         }
067         counter++;
068     }
069 }
070  
071 /// <summary>
072 /// 将搜索结果分页显示
073 /// </summary>
074 /// <param name="currentPage"></param>
075 private void BindPagerResults(int currentPage)
076 {
077     searcher = new IndexSearcher(INDEX_STORE_PATH); //构建一个索引搜索器
078     TopDocs queryResult = PagerSearch(this.txtPagerKeyword.Text.Trim(), "contents");//按照内容搜索 
079     int totalCount = queryResult.totalHits;//总记录数
080     ShowPagerSearchResult(queryResult,currentPage);
081     if (totalCount > 0)
082     {
083         this.panelPager.Visible = true;
084         //绑定页码相关信息
085         PagerControl pager = new PagerControl(currentPage, recordsPerPage, totalCount, "跳转");
086         pager.currentPageChanged += new EventHandler(pager_currentPageChanged);//页码变化 触发的事件
087         this.panelPager.Controls.Add(pager);//在Panel容器中加入分页控件
088     }
089 }
090  
091 private void pager_currentPageChanged(object sender, EventArgs e)
092 {
093     PagerControl pager = sender as PagerControl;
094     if (pager == null || string.IsNullOrEmpty(this.txtPagerKeyword.Text.Trim()))
095     {
096         return;
097     }
098     SetOutput(string.Format("==========================分页搜索开始时间：{0}===========================", DateTime.Now.ToString()));
099     currentPage = pager.CurrentPage;
100     BindPagerResults(currentPage);//查询数据并分页绑定
101 }

有图有真相：

lucenenetpagersearch

关于分页控件，请参考拙文winform下的一个分页控件。

好了，简单常见的搜索就介绍到这里，有时间我会继续总结QueryParser的常用搜索语法和技巧以及一些复杂搜索（包括令人头疼的分组问题等等）。

最后，我想说的是，没有合理的索引数据作为搜索的前期准备，好比想要在程序员中找到漂亮体贴亭亭玉立温柔贤惠善解人意的女朋友一样，大部分工作和精力可能都是徒劳的，所以，合理创建索引的工作至关重要，在实际的开发中，按照项目需要，最大程度构造和优化您的索引吧。

 

改进后的demo下载：LuceneNetApp

posted @ 2011-01-02 10:30  冰封的心  阅读(342)  评论(1)  编辑  收藏  举报