不同的日子丶看不同的云
Solr——评分公式修改

以下来自solr in action。

包含：

  • 词项频次。查询词项出现在当前查询文档中的次数。
  • 反向文档频次。查询词项出现在所有文档总的次数。
  • 此项权重。
  • 标准化因子：
    • 字段规范：
      • 文档权重。
      • 字段权重。
      • 长度归一化。消除长文档的优势。因为长文档的词项频次一般会比较大。
    • 协调因子。避免一个文档中出现某一个词项的次数太多导致总分值太大。目的是让结果中包含更多的是出现所有词项的文档。

具体说明见下文。

以下转载自网络。原文地址: http://tec.5lulu.com/detail/110d8n2ehpg2j85ec.html

简述

 

内容的相似性计算由搜索引擎的几种常见的检索模型有：

向量空间模型

    简述中介绍了好多种相似性计算方法，    Solr的索引文件中有.tvx,.tvd,tvf存储了term vector的信息，首先我们学习如何利用term vector来反映相似性程度。

 

    用v(d1)表示了term d1的term向量，termterm    给定一个查询以及一个文档，如何计算他们的相似值呢，请看以下公式，它使用了以下概念：term frequency (tf), inverse document frequency (idf), term boosts (t.getBoost), field normalization (norm), coordination factor (coord), and query normalization (queryNorm). 

 

 

  • tf(t in d ) 表示该idf(t) 表示 t.getBoost() 也叫此项权重。标准化因子，它包括三个参数：
  • ：此值越大，说明此文档越重要。也叫文档权重。：此域越大，说明此域越重要。也叫字段权重。：一个域中包含的总数越多（我理解的是所有这个文档的所有，而不局限于查询中的），也即文档越长，此值越小，文档越短，此值越大。也叫长度归一化。目的是消除长字段的优势。

 coord(q,d)：一次搜索可能包含多个搜索词，而一篇文档中也可能包含多个搜索词，此项表示，当一篇文档中包含的搜索词越多，则此文档则打分越高 ,numTermsInDocumentFromQuery / numTermsInQuery 

 queryNorm(q)：计算每个查询条目的方差和，此值并不影响排序，而仅仅使得不同的query之间的分数可以比较。

ps：理解到这里就可以了，下面的细节可以以后再研究。

评分机制

表示匹配文章的程度，如果在一篇文章中该出现了次数越多，说明该对该文章的重要性越大，因而更加匹配。相反的出现越少说明该越不匹配文章。但是这里需要注意，出现次数与重要性并不是成正比的，比如出现次，出现次，对于该文章的重要性并不是的倍，所以这里的值进行平方根计算。

tf(t in d) = numTermOccurrencesInDocument 1/2

  • idf, 表示包含该文章的个数，与tf不同，idf 越大表明该term越不重要。比如this很多文章都包含，但是它对于匹配文章帮助不大。这也如我们程序员所学的技术，对于程序员本身来说，这项技术掌握越深越好（掌握越深说明花时间看的越多，tf越大），找工作时越有竞争力。然而对于所有程序员来说，这项技术懂得的人越少越好（懂得的人少df小），找工作越有竞争力。人的价值在于不可替代性就是这个道理。

    idf(t) = 1 + log (numDocs / (docFreq +1)) 

  • t.getBoost，boost是人为给term提升权重的过程，我们可以在Index和Query中分别加入term boost，但是由于Query过程比较灵活，所以这里介绍给Query boost。term boost 不仅可以对Pharse进行，也可以对单个term进行，在查询的时候用^后面加数字表示：
  • title:(solr in action)^2.5  对solr in action 这个pharse设置boost
  • title:(solr in action)  默认的boost时1.0
  • title:(solr^2in^.01action^1.5)^3OR"solrinaction"^2.5 
  • norm(t,d) 即field norm，它包含Document boost，Field boost，lengthNorm。相比于t.getBoost()可以在查询的时候进行动态的设置，norm里面的f.getBoost()和d.getBoost()只能建索引过程中设置，如果需要对这两个boost进行修改，那么只能重建索引。他们的值是存储在.nrm文件中。

     

    norm(t,d) = d.getBoost() • lengthNorm(f) • f.getBoost() 

  • d.getBoost() document的boost，对document设置boost是通过对每一个field设置boost实现的。
  • f .getBoost() field的boost，这里需要提以下，Solr是支持多值域方式建索引的，即同一个field多个value，如以下代码。当一个文档里出现同名的多值域时候，倒排索引和项向量都会在逻辑上将这些域的词汇单元附加进去。当对多值域进行存储的时候，它们在文档中的存储顺序是分离的，因此当你在搜索期间对文档进行检索时，你会发现多个Field实例。如下图例子所示，当查询author：Lucene时候出现两个author域，这就是所谓的多值域现象。 
  • Document doc = new Document();
for (String author : authors){
doc.add(new Field("author",author,Field.Store.YES,Field.Index.ANALYZED));
}
 
//首先对多值域建立索引
Directory dir = FSDirectory.open(new File("/Users/rcf/workspace/java/solr/Lucene"));
IndexWriterConfig indexWriterConfig = new IndexWriterConfig(Version.LUCENE_48,new WhitespaceAnalyzer(Version.LUCENE_48));
@SuppressWarnings("resource")
IndexWriter writer = new IndexWriter(dir,indexWriterConfig);
Document doc = new Document();
doc.add(new Field("author","lucene",Field.Store.YES,Field.Index.ANALYZED));
doc.add(new Field("author","solr",Field.Store.YES,Field.Index.ANALYZED));
doc.add(new Field("text","helloworld",Field.Store.YES,Field.Index.ANALYZED));
writer.addDocument(doc);
writer.commit();
//对多值域进行查询
IndexReader reader = IndexReader.open(dir);
IndexSearcher search = new IndexSearcher(reader);
Query query = new TermQuery(new Term("author","lucene"));
TopDocs docs = search.search(query, 1);
Document doc = search.doc(docs.scoreDocs[0].doc);
for(IndexableField field : doc.getFields()){
System.out.println(field.name()+":"+field.stringValue());
}
System.out.print(docs.totalHits);
//运行结果
author:lucene
author:solr
text:helloworld
2
  • 当对多值域设置boost的时候，那么该field的boost最后怎么算呢？即为每一个值域的boost相乘。比如title这个field，第一次boost是3.0，第二次1，第三次0.5,那么结果就是3*1*0.5.
  • Boost: (3) · (1) · (0.5) = 1.5 
  • lengthNorm, Norm的长度是field中term的个数的平方根的倒数，field的term的个数被定义为field的长度。field长度越大，Norm Field越小，说明term越不重要，反之越重要，这很好理解，在10个词的title中出现北京一次和在有200个词的正文中出现北京2次，哪个field更加匹配，当然是title。

     

  • 最后再说明下，document boost，field boost 以及lengthNorm在存储为索引是以byte形式的，编解码过程中会使得数值损失，该损失对相似值计算的影响微乎其微。
  • queryNorm,  计算每个查询条目的方差和，此值并不影响排序，而仅仅使得不同的query之间的分数可以比较。也就说，对于同一词查询，他对所有的document的影响是一样的，所以不影响查询的结果，它主要是为了区分不同query了。

    queryNorm(q) = 1 / (sumOfSquaredWeights )

    sumOfSquaredWeights = q.getBoost()2 • ∑ ( idf(t) • t.getBoost() )2 

    coord(q,d)，表示文档中符合查询的term的个数，如果在文档中查询的term个数越多，那么这个文档的score就会更高。

    numTermsInDocumentFromQuery / numTermsInQuery 

            比如Query：AccountantAND("SanFrancisco"OR"NewYork"OR"Paris") 

            文档A包含了上面的3个term，那么coord就是3/4，如果包含了1个，则coord就是4/4

4源码

    上面介绍了相似值计算的公式，那么现在就来查看Solr实现的代码，这部分实现是在DefaultSimilarity类中。 

@Override
public float coord(int overlap, int maxOverlap) {
return overlap / (float)maxOverlap;
}
 
@Override
public float queryNorm(float sumOfSquaredWeights) {
return (float)(1.0 / Math.sqrt(sumOfSquaredWeights));
}
   
@Override
public float lengthNorm(FieldInvertState state) {
final int numTerms;
if (discountOverlaps)
numTerms = state.getLength() - state.getNumOverlap();
else
numTerms = state.getLength();
return state.getBoost() * ((float) (1.0 / Math.sqrt(numTerms)));
}
   
@Override
public float tf(float freq) {
return (float)Math.sqrt(freq);
}
 
@Override
public float idf(long docFreq, long numDocs) {
return (float)(Math.log(numDocs/(double)(docFreq+1)) + 1.0);
}

Solr计算score(q,d)的过程如下：

1:调用IndexSearcher.createNormalizedWeight()计算queryNorm()

public Weight createNormalizedWeight(Query query) throws IOException {
query = rewrite(query);
Weight weight = query.createWeight(this);
float v = weight.getValueForNormalization();
float norm = getSimilarity().queryNorm(v);
if (Float.isInfinite(norm) || Float.isNaN(norm)) {
norm = 1.0f;
}
weight.normalize(norm, 1.0f);
return weight;
}

 

  1. 具体实现步骤如下：

  • Weight weight = query.createWeight(this);
  • 创建BooleanWeight->new TermWeight()->this.stats = similarity.computeWeight)->this.weight = idf * t.getBoost()
  • public IDFStats(String field, Explanation idf, float queryBoost) {
// TODO: Validate?
this.field = field;
this.idf = idf;
this.queryBoost = queryBoost;
this.queryWeight = idf.getValue() * queryBoost; // compute query weight
}
计算sumOfSquaredWeights
s = weights.get(i).getValueForNormalization()计算( idf(t) • t.getBoost() )2 如以下代码所示，queryWeight在上一部中计算出 
public float getValueForNormalization() {
// TODO: (sorta LUCENE-1907) make non-static class and expose this squaring via a nice method to subclasses?
return queryWeight * queryWeight; // sum of squared weights
}
  • BooleanWeight->getValueForNormalization->sum = (q.getBoost)2 *∑(this.weight)2 = (q.getBoost)2 *∑(idf * t.getBoost())2
  •  
  • public float getValueForNormalization() throws IOException {
float sum = 0.0f;
for (int i = 0 ; i < weights.size(); i++) {
// call sumOfSquaredWeights for all clauses in case of side effects
float s = weights.get(i).getValueForNormalization(); // sum sub weights
if (!clauses.get(i).isProhibited()) {
// only add to sum for non-prohibited clauses
sum += s;
}
}
 
sum *= getBoost() * getBoost(); // boost each sub-weight
 
return sum ;
}

     

  • 计算完整的querynorm() = 1 / Math.sqrt(sumOfSquaredWeights)); 
  • public float queryNorm(float sumOfSquaredWeights) {
return (float)(1.0 / Math.sqrt(sumOfSquaredWeights));
}
  • weight.normalize(norm, 1.0f) 计算norm()
  • topLevelBoost *= getBoost();   
  • 计算value = idf()*queryWeight*queryNorm=idf()2*t.getBoost()*queryNorm（queryWeight在前面已计算出） 

  • public void normalize(float queryNorm, float topLevelBoost) {
this.queryNorm = queryNorm * topLevelBoost;
queryWeight *= this.queryNorm; // normalize query weight
value = queryWeight * idf.getValue(); // idf for document
}
  •  

    2：调用IndexSearch.weight.bulkScorer()计算coord(q,d),并获取每一个term的docFreq，并将docFreq按td从小到大排序。 

　　

if (optional.size() == 0 && prohibited.size() == 0) {
float coord = disableCoord ? 1.0f : coord(required.size(), maxCoord);
return new ConjunctionScorer(this, required.toArray(new Scorer[required.size()]), coord);
}

 

  1. 3：score.score()进行评分计算,获取相似值，并放入优先级队列中获取评分最高的doc id。

  • weightValue= value =idf()2*t.getBoost()*queryNorm
  • sore = ∑(tf()*weightValue)*cood 计算出最终的相似值
  • 这里貌似没有用到lengthNorm， 
  • public float score(int doc, float freq) {
final float raw = tf(freq) * weightValue; // compute tf(f)*weight
return norms == null ? raw : raw * decodeNormValue(norms.get(doc)); // normalize for field
}
   
public float score() throws IOException {
// TODO: sum into a double and cast to float if we ever send required clauses to BS1
float sum = 0.0f;
for (DocsAndFreqs docs : docsAndFreqs) {
sum += docs.scorer.score();
}
return sum * coord;
}
 
public void collect(int doc) throws IOException {
float score = scorer.score();
   
// This collector cannot handle these scores:
assert score != Float.NEGATIVE_INFINITY;
assert !Float.isNaN(score);
   
totalHits++;
if (score <= pqTop.score) {
// Since docs are returned in-order (i.e., increasing doc Id), a document
// with equal score to pqTop.score cannot compete since HitQueue favors
// documents with lower doc Ids. Therefore reject those docs too.
return;
}
pqTop.doc = doc + docBase;
pqTop.score = score;
pqTop = pq.updateTop();
}

     

posted on 2019-08-26 16:58  不同的日子丶看不同的云  阅读(730)  评论(0)  编辑  收藏  举报

Copyright © 2024 不同的日子丶看不同的云
Powered by .NET 9.0 on Kubernetes Powered By博客园