Learning Query and Document Similarities from Click-through Bipartite Graph with Metadata
读了一篇paper,MSRA的Wei Wu的一篇《Learning Query and Document Similarities from Click-through Bipartite Graph with Metadata》。是关于Ranking Relevence方面的文章。下面简单讲下我对这篇文章的理解,对这方面感兴趣的小伙伴们可以交流一下。
1. Abstract
这篇文章的重点在于使用query-doc的点击二部图,结合query/doc的meta数据(组织成multiple types of features),来学习出query-doc(顺带介绍了query-query,doc-doc)的similarity。
为了计算上述的similarity,作者采用了两个不同的linear mappings,用来把query从query feature space,把doc从doc feature space映射到相同的latent space上,然后便可通过计算这个latent space上两者的vector的dot product来获得两者的similarity。于是,便把对similarity的learning形式化为对mapping的learning,而这个mapping的learning的目标是为了maximize从enriched click-through bipartite gragh上观察到的query-doc的similarity(可以通过query-doc pair的点击数来衡量)。另外,这个linear mapping是针对一种类型的features,获得一种类型features的similarity function,如果有multiple types of features的话,则最终的similarity function是每个type的similarity function的线性组合。
learning过程用到的算法包括Singular Value Decomposition(SVD)和Multi-view Partial Least Squares(M-PLS)。
2. Introduction
作者提到了先前的关于计算query-doc similarity的几种方法。
1)feature based methods:Vector Space Model(VSM),BM25,Language Models for Information Retrieval(LMIR)等。
2)gragh based methods:mining query-doc similarity from a click-through bipartite gragh等。
而这篇文章是将两者结合起来:
3. Problem Formulation
将每种type的features的query或者document用一个向量的形式来表示,,则linear mapping可以看做是维度为和的两种形式的矩阵(和 ),通过这两种变换矩阵,query或者doc在原始空间上的向量被变换成latent space上的维度为的向量和。于是,对于这种type的faetures,simialrity function表示为。我们可以将点击二部图中query-doc的点击数看作是query-doc similarity的大小,而通过maximize观察到的query-doc的similarity来学习linear mapping和线性加权的权重。
最终的learning problem可以表示为:
这时候有个问题,就是需要最大化的公式的值是可以无限大的,因为没有系数的限制,下面会介绍如何在系数上加上constraints。
4. Multi-view Partial Least Squares
4.1 Constrained Optimization Problem
1)对feature vectors进行归一化:,
2)对mapping matrices进行正交化限制。
3)对线性加权权重进行L2 正则化限制。
于是,learning method重新形式化为:
4.2 Globally Optimal Solution
为了获得全局最优解,两步走。第一步,对每种type的features,通过SVD求解得到optimal linear mapping;第二步,求解optimal combination weights。
上述的公式(2)可以重写为:
optimization problem为:
通过SVD求得global optimal solution。
于是,公式(2)可以写成:
而combination weights求解为:
4.3 Learning Algorithm
1)for each type of feature,solves SVD of Mi to learn the linear mapping。
2)calculates the combination weights using (5)。
版权声明:
本文由笨兔勿应所有,发布于http://www.cnblogs.com/bentuwuying。如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任。