Lucene默认的打分算法——ES默认

改变Lucene的打分模型

随着Apache Lucene 4.0版本在2012年的发布，这款伟大的全文检索工具包终于允许用户修改默认的基于TF/IDF原理的打分算法。Lucene API变得更加容易修改和扩展打分公式。但是，对于文档的打分计算，Lucene并只是允许用户在打分公式上修修补补，Lucene 4.0推出了更多的打分模型，从根本上改变了文档的打分公式，允许用户使用不同的打分公式来计算文档的得分。在本节，我们将深入了解Lucene 4.0的新特性，以及这些特性如何融入ElasticSearch。

可用的相似度模型

前面已经提到，除了Apache Lucene 4.0以前版本中原来支持的默认相似度模型，TF/IDF模型同样支持。该模型在 第2章 强大的用户查询语言DSL 的 Lucene 默认打分算法一节中已经详细论述了。

新引入了三种相似度模型：

• Okapi BM25:这是一种基于概率模型的相似度模型，对于给定的查询语句，该模型会估计每个文档与查询语句匹配的概率。为了在ElasticSearch中使用 该相似度模型，用户需要使用模型的名称，BM25。据说，Okapi BM25相似度模型最适合处理短文本，即关键词的重复次数对整个文档得分影响比较大的文本。
• Divergence from randomness:这是一种基于同名概率模型的相似度模型。想要在ElasticSearch使用该模型，就要用到名称，DFR。据说该相似度模型适用于自然语言类的文本。
• Information based:这是最后一个新引入的相似度模型，它与Diveragence from randomness模型非常相似。想要在ElasticSearch使用该模型，就要用到名称，IB。与DFR相似度模型类似，据说该模型也适用于自然 语言类的文本。

Lucene默认的打分算法

当谈论到查询的相关性，很重要的一件事就是对于给定的查询语句，如何计算文档得分。首先要弄清楚的是文档得分是什么。文档得分是一个用来描述查询语句和文档之间匹配程度的变量。在本节，我们将学习Lucene默认的打分机制：TF/IDF(term frequency/inverse document frequecy)算法，以及它是如何对相关文档进行打分排序。理解默认的打分算法对设计复杂查询语句来说至关重要，特别是在决定各个查询子句权重的时候。

匹配文档的打分因子

当一个文档出现在了搜索结果中，这就意味着该文档与用户给定的查询语句是相匹配的。Lucene会对匹配成功的文档给定一个分数。至少从 Lucene这个层面，从打分公式的结果来看，分数值越高，代表文档相关性越高。 自然而然，我们可以得出：两个不同的查询语句对同一个文档的打分将会有所不同，但是比较这两个得分是没有意义的。用户需要记住的是：我们不仅要避免去比较 不同查询语句对同一个文档的打分结果，还要避免比较不同查询语句对文档打分结果的最大值。这是因为文档的得分是多个因素共同影响的结果，不仅有权重 (boosts)和查询语句的结构起作用，还有匹配关键词的个数，关键词所在的域，查询归一化因子中用到的匹配类型……。在极端情况下，只是因为我们用了 自定义打分的查询对象或者由于倒排索引中词的动态变化，相似的查询表达式对于同一个文档都会产生截然不同的打分。

暂时还是先回来继续探讨打分机制。为了计算出一个文档的得分，我们必须考虑如下的因素：

• 文档权重(Document boost)：在索引时给某个文档设置的权重值。
• 域权重(Field boost)：在查询的时候给某个域设置的权重值。
• 调整因子(Coord)：基于文档中包含查询关键词个数计算出来的调整因子。一般而言，如果一个文档中相比其它的文档出现了更多的查询关键词，那么其值越大。
• 逆文档频率(Inerse document frequency)：基于Term的一个因子，存在的意义是告诉打分公式一个词的稀有程度。其值越低，词越稀有(这里的值是指单纯的频率，即多少个文档中出现了该词；而非指Lucene中idf的计算公式)。打分公式利用这个因子提升包含稀有词文档的权重。
• 长度归一化(Length norm):基于域的一个归一化因子。其值由给定域中Term的个数决定(在索引文档的时候已经计算出来了，并且存储到了索引中)。域越的文本越长，因子的权重越低。这表明Lucene打分公式偏向于域包含Term少的文档。
• 词频(Term frequency)：基于Term的一个因子。用来描述给定Term在一个文档中出现的次数，词频越大，文档的得分越大。
• 查询归一化因子(Query norm)：基于查询语句的归一化因子。其值为查询语句中每一个查询词权重的平方和。查询归一化因子使得比较不同查询语句的得分变得可行，当然比较不同查询语句得分并不总是那么易于实现和可行的。

 

TF/IDF打分公式

接下来看看打分公式的庐山真面目。如果只是为了调整查询语句之间的关联关系，用户不必去理解它的原理。但是至少要知道它是如何工作的。

Lucene概念上的打分公式

 

TF/IDF公式的概念版是下面这个样子的：

 

 

上面的公式展示了布尔信息检索模型和向量空间信息检索模型的组合。我们暂时不去讨论它，直接见识实际应用的公式，它是在Lucene实现并且正在使用的公式。