Bregman散度和马氏距离----衡量对象间相似性和相异性
在数据挖据方面,Bregman散度和马氏距离主要用于相似性相异性测度。我们需要根据各测度的优缺点和数据类型去选取合适的测度。
当然终究是越简单越好,这两个测度相对用得较少。通常我们碰到两对象的时候,根据对象数据类型不同,如标称的,序数的,比率的选取简便易行的测度,如下图:
或者,如闵可夫斯基距离:
其中r=2的时候,就是我们常用的欧氏距离,r=1的时候为曼哈顿距离。
另外还有Jaccard相似性系数,余弦相似度,相关系数,Tanimoto系数等等。
下面重点提下Bregman散度和马氏距离,
Bregman散度是借用一个严格凸函数φ(·),该散度Dφ(x,y)即为φ(x)和h(x)的差,其中h(x)为φ(y)在x处的线性近似。
若给定φ(z)=1/2*z2,则Dφ(x,y)=1/2*(x-y)2 。如下图:
当然我们也可以给定其他凸函数,这时候Dφ(x,y)也相应不同,如图:
马氏距离的公式有些复杂,它的出现克服了欧氏距离在无视属性量纲和属性相关性方面的缺陷,公式如下:
其中Σ-1 为p,q协方差矩阵的逆。当然它的计算开销大,因此对于属性量纲不一但是不相关的对象,我们可以对属性作标准化处理后使用欧氏距离。