Lucene 搜索功能

搜索过程

图解:

 

主要 API:

  • IndexSearcher:    //所有搜索都通过 IndexSearcher 进行,他们将调用该类中重载的 search() 方法
  • Query:            //封装某种查询类型的具体子类,Query 实例将会被传递给 IndexSearcher 的 search() 方法
  • QueryParser:      //将用户输入的查询表达式处理成各种具体的 Query 对象
  • TopDocs:          //保存由 IndexSearcher.search() 方法返回的具有较高评分的文档
  • ScoreDoc:         //提供对 TopDocs 中每条搜索结果的访问接口

下面,将对这几类 API 做分别的讨论。

 

使用IndexSearcher类

//  创建 IndexSearcher 类实例:
    Directory dir          = FSDirectory.open(/path/to/indices);
    IndexReader reader     = IndexReader.open(dir);
    IndexSearcher searcher = new IndexSearcher(reader);
//  实现搜索功能 IndexSearcher.search():
    TopDocs search(Query query, int n)                                 //————直接进行搜索,返回评分最高的N个文档
    TopDocs search(Query query, Filter filter, int n)                  //————搜索受文档子集约束,约束条件基于过滤条件
    TopFieldDocs search(Query query, Filter filter, int n, Sort sort)  //————排序
    void search(Query query, Collector results)                        //————使用自定义文档访问策略
    void search(Query query, Filter filter, Collector results)

 

 使用TopDocs类

调用 IndexSearcher.search() 方法,返回 TopDocs 对象。

    TopDocs.totalHits()          //匹配搜索条件的文档数量
    TopDocs.scoreDocs()          //包含搜索结果的ScoreDoc对象数组
    TopDocs.getMaxScore()        //如果已完成排序这返回最大评分

 

使用 Query 类

使用 Query 类就是直接使用 Lucene 的各种 Query API 来进行查询。

Query 的子类可以直接实例化,也可以通过 QueryParser 类实例化。通过 QueryParser 实例化会首先将自由文本转换为各种 Query 类型,这个将在【使用 QueryParser 类】 小节讲述。

TermQuery:

该查询是区分大小写的,搜索前要对索引后的项大小写进行匹配

  TermQuery:
    //该查询是区分大小写的,搜索前要对索引后的项大小写进行匹配
    Term t = new Term("contents", "java");
    Query query = new TermQuery(t);

TermRangeQuery:

索引中的各个 Term 回想会按照字典编排排序,并允许在 Lucene 的 TermQuery 对象提供的范围内进行文本项的直接搜索。

用两个Boolean对象参数表示是否包含搜索范围的起点/终点。

  TermRangeQuery:
    //用两个Boolean对象参数表示是否包含搜索范围的起点/终点
    TermRangeQuery query = new TermRangeQuery("title2", "d", "j", true, true);  //搜索 title 域起始字母从 'd' 到 'j' 的文档

NumericRangeQuery:

用两个Boolean对象参数表示是否包含搜索范围的起点/终点。

  NumericRangeQuery:
    //用两个Boolean对象参数表示是否包含搜索范围的起点/终点
    NumericRangeQuery query = new NumericRangeQuery.newIntRange("pubmonth", 200605, 200609, true, true);

PrefixQuery:

搜索包含以指定字符串开头的项的文档。

  PrefixQuery:
    //搜索包含以指定字符串开头的项的文档
    Term term = new Term("category", "/technology/computers/programing");
    PrefixQuery query = new PrefixQuery(term);  //搜索编程方面的书籍,包括他们的子类书籍(子目录)
    Query query = new TermQuery(term);          //搜索编程方面的书籍,不包括子类书籍(子目录)

BooleanQuery:

通过BooleanQuery可以将各种查询类型组合起来。

  BooleanQuery:
    //通过BooleanQuery可以将各种查询类型组合起来
    TermQuery searchingBooks = new TermQuery(new Term("subject", "search"));
    Query books2010 = NumericRangeQuery.newIntRange("pubmonth", 201001, 201009, true,true);
    BooleanQuery searchingBooks2010 = new BooleanQuery();

    searchingBooks2010.add(searchingBooks, BooleanClause.Occur.MUST);
    searchingBooks2010.add(books2010,BooleanClause.Occur.MUST)

PhraseQuery:

PhraseQuery类会根据项的位置信息定位某个距离范围内的项所对应的文档。

  PhraseQuery:
    //PhraseQuery类会根据项的位置信息定位某个距离范围内的项所对应的文档
    PhraseQuery query = new PhraseQuery();
    query.setSlop(slop);

WildcardQuery:

使用不完整的、缺少某些字母的项进行查询。

WildcardQuery:
  //使用不完整的、缺少某些字母的项进行查询
  Query query = new WildcardQuery(new Term("contents", "?ild*"));

FuzzyQuery:

用于查询与指定项相似的项(如:three/tree编辑距离为1)。

FuzzyQuery:
  //用于查询与指定项相似的项(three/tree编辑距离为1)
  Query query = new FuzzyQuery(new Term("contents", "wuzza"));

MatchAllDocsQuery:

MatchAllDocsQuery:
  Query query = new MatchAllDocsQuery();      //对匹配的分配固定的评分
  Query query = new MatchAllDocsQuery(field); //文档根据指定的域评分

 

使用 QueryParser 类

QueryParser 对象初始化

与 matchVersion、一个域名和一个分析器一起用于将输入的文本分割成 Terms 对象:

QueryParser parse = new QueryParser(Version.LUCENE_30, "contents", new SimpleAnalzer());

QueryParser 应用示例

      IndexSearcher searcher = new IndexSearcher(dir);
      QueryParser parse = new QueryParser(Version.LUCENE_30,"contents", new SimpleAnalzer());
      Query query = parser.parse("+JUNIT +ANT -MOCK"); //解析 "+JUNIT +ANT -MOCK" 为Query对象
      TopDocs docs = searcher.search(query, 10);

QueryParser 解析表达式

1. Query.toString:

  • 当查询表达式被解析为后会发生变化,通过 toString 方法可以查看解析后的语句。
//toString:
query.add(new FuzzyQuery(new Term("field", "kountry")), BooleanClause.Occur.MUST);
assertEquals("+kountry~0.5" query.toString(field));

2. 项查询:

  • 默认情况下,如果单个词不被识别为更长的其他查询类型表达式的一部分,那么将会被解析为 TermQuery 对象。
//TermQuery
QueryParse parser = new QueryParser(Version.LUCENE_30, "subject", analyzer);
Query query = parser.parse("computers"); //默认域
System.out.printfln("term: " + query);
//输出 term: subject:computers

3. 项范围查询:

  • 针对 "文本" 或 "日期" 的范围查询通过括号形式表示,并且只需要在查询范围两端的项之间用 TO(大写)进行连接就可以。
  • 用中括号:[]        表示搜索范围包含在内
  • 用大括号:{}        表示搜索范围排除在外
  • 这里和编程构建 TermRangeQuery 或 NumericRangeQuery 不同,搜索范围不能同时进行包含和排除,只能要么全部包含,要么全部排除。
//项范围查询
QueryParse parser = new QueryParser(Version.LUCENE_30, "subject", analyzer);
Query query = parser.parse("title2:[Q TO V]");
assertTrue(query instanceof TermRangeQuery);

Query query = parser.parse("title2:{Q TO \"Tapestry in action\"}");

4. 短语查询:

  • 查询语句中庸双引号括起来的项会被转换为 PhraseQuery 对象。在引号里面使用 "通配符" 将不会生效。
  • 单项短语对象将会被转换为 TermQuery 对象。
//短语查询
QueryParse parser = new QueryParser(Version.LUCENE_30, "field", new StandardAnalyzer(Version.LUCENE_30));
Query q = parser.parse("\"This is Some Phrase*\"");
assertEquals("analyzed", "\"? ? Some Phrase\"", q.toString("field"))

QueryParse parser = new QueryParser(Version.LUCENE_30, "field", analyzer);
Query q = parser.parse("\"term\"");
assertTrue("reduced to TermQuery", q instanceof TermQuery);

5. 布尔操作符:

  • 可以使用 AND、OR和NOT,布尔操作符必须全部大写。项之间如果没有指定布尔操作符,默认为 "OR"。
  • a AND b           快捷语法        +a +b
  • a OR b            快捷语法        ab
  • a AND NOT b       快捷语法        +a -b 
//布尔操作符
QueryParse parser = new QueryParser(Version.LUCENE_30, "contents", analyzer);
parser.setDefaultOperator(QueryParser.AND_OPERATOR);

6. 前缀查询和通配符查询:

  • 如果某项中包含一个星号或者问好,该项会被看作是通配符查询对象 WildcardQuery。
  • 当查询只在末尾有一个星号时候,QueryParse 类会将它优化为前缀查询。
  • 不管是前缀还是通配符查询,其对象都会被转换为小写字母形式(可控)。
//前缀和通配符查询
QueryParse parser = new QueryParser(Version.LUCENE_30, "filed", analyzer);
Query query = parser.parse("prefixQuery*");
assertEquals("lowercased", "prefixQuery*", q.toString("field"))

7. 数值范围搜索和日期范围搜索:

  • QueryParser 类不会建立 NumericRangeQuery 类。

8. 模糊查询:

QueryParse parser = new QueryParser(Version.LUCENE_30, "subject", analyzer);
Query q = parser.parse("kountry~");
System.out.printfln("fuzzy: " + query);
// fuzzy: subject:kountry~0.5
query = parser.parse("kountry~0-7");
System.out.printfln("fuzzy 2: " + query);
// fuzzy: subject:kountry~0.7

9. MatchAllDocsQuery:

  • 当输入*:*后会被分析为 MatchAllDocsQuery

10. 分组查询:

  • QueryParser 使用分组后的文本类型的查询表达式来支持嵌套 。
  •  
//QueryParser 使用分组后的文本类型的查询表达式来支持嵌套 BooleanQuery 子句查询
QueryParse parser = new QueryParser(Version.LUCENE_30, "subject", analyzer);
Query q = parser.parse("(agile OR extreme) AND methodology");

11. 域选择:

  • 默认域名是在创建 QueryParser 时候创建。
  • 如果使用域选择器表示法,可以对非默认域中的项进行指定。

12. 对子查询设置加权:

  • 在浮点数前面加上一个^符号可以对查询进行加权因子设置。
  • junit^2.0 testing 会将 junit TermQuery 的加权系数设置为2.0;并维持 testing TermQuery 为默认1.0。
   java                                  //————默认域包括 java 项的文档
   java junit                            //————默认域包括 java 和 junit 中一个或两个项的文档
   java OR junit                         //————默认域包括 java 和 junit 中一个或两个项的文档
   +java +junit                          //————默认域包括 java 和 junit 两项的文档
   title:java                            //————title 域中包含 ant 项的文档
   title:extreme -subject:sports         //————title 域中包含 extreme 且 subject 域中不包含 sports 的文档
   tielt:extreme AND NOT subject:sports  //————title 域中包含 extreme 且 subject 域中不包含 sports 的文档
   (agile OR extreme) AND methodogy      //————默认域中包含 methodogy 且包含 agile 和 extreme 中一个或两个的文档
   title:"junit in action"               //————title 域为 junit in action 的文档
   title:"junit action" -5               //————title 域中junit 和 action之 间距离小于5的文档
   java*                                 //————包含由 java 开头的文档
   java-                                 //————包含与单词 java 相近的单词
   lastmodified:[1/1/09 TO 12/31/09]     //————lastmodified 域值在这个时间区间的文档

 

QueryParser 特殊字符

QueryParse 在各个项中使用反斜杠来表示转义,需要转义的字符有:

\
+
-
!
(
)
:
^
]
{
}
_
*
?

 

搜索结果分页

将首次搜索获得的多页结果手机起来保存在 ScoreDocs 和 IndexSearcher 实例中。

每次用户换页浏览时候都重新进行查询操作

 

近实时搜索

使用一个打开的 IndexWriter 快速搜索索引的变更内容,而不必首先关闭 writer 或向该 writer 提交。

 

posted @ 2016-05-03 20:39  弋痕夕的残影  阅读(613)  评论(0编辑  收藏  举报