分布距离度量方式

信息熵

信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。所以,信息熵也可以说是系统有序化程度的一个度量。信息量是对信息的度量,就跟时间的度量是秒一样,当我们考虑一个离散的随机变量 x 的时候,当我们观察到的这个变量的一个具体值的时候,我们接收到了多少信息呢?多少信息用信息量来衡量,我们接受到的信息量跟具体发生的事件有关。信息的大小跟随机事件的概率有关。越小概率的事情发生了产生的信息量越大,如湖南产生 的地震了;越大概率的事情发生了产生的信息量越小,如太阳从东边升起来了(肯定发生嘛, 没什么信息量)。这很好理解!因此一个具体事件的信息量应该是随着其发生概率而递减的,且不能为负

\[H(x)=-\sum p(x)\log p(x) \]

KL散度(相对熵)

KL散度又称为相对熵,信息散度,信息增益。KL散度是是两个概率分布P和Q 差别的非对称性的度量。常用于衡量两个概率分布之间的差异或相似度,或衡量利用Q拟合P时的能量消耗 KL散度是用来 度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。 典型情况下,P表示数据的真实分布,Q表示数据的理论分布,模型分布,或P的近似分布。其定义如下:

\[D_{KL}(P|Q)=\sum_{x\in i}P(x_i) \log \frac{P(x_i)}{Q(x_i)} \]

\[D_{KL}(P|Q)=\sum_{x\in i}P(x_i)*\log P(x_i)-P(x_i)\log Q(x_i) \]

此处我们可以看到, 等号左边是熵, 右边就是交叉熵
有时会将KL散度称为KL距离,但它并不满足距离的性质:

  • KL散度不是对称的: \(D(P|Q)!=D(Q|P)\)
  • KL散度不满足三角不等式。
    KL散度应用范围非常的广大。

交叉熵是KL散度的一部份

可以看到,在KL散度中,右半部分作为交叉熵而存在,我们交叉熵的公式为:

\[Cross Entropy=-\sum_{i=1}^{N}P(x_i)\log Q(x_i)) \]

很多地方像逻辑回归的loss其实就是二分类的交叉熵,当我们最大化似然函数,把累乘变为累加的时候,的时候,即得到了最小化交叉熵这么一个形式。
具体LR请看LR

JS散度

JS散度度量了两个概率分布的相似度,基于KL散度的变体,解决了KL散度非对称的问题。一般地,JS散度是对称的,其取值是0到1之间,一般地,JS散度是对称的,其取值是0到1之间。若两个分布完全没有交集,那么JS散度取最大值1;若两个分布完全一样,那么 JS 散度取最小值 0。
定义如下:

\[JS(P_1|P_2)=\frac{1}{2}KL(P_1||\frac{P_1+P_2}{2})+\frac{1}{2}KL(P_2||\frac{P_1+P_2}{2}) \]

KL散度和JS散度度量的时候有一个问题:
如果两个分配P,Q离得很远,完全没有重叠的时候,那么KL散度值是没有意义的,而JS散度值是一个常数。这在学习算法中是比较致命的,这就意味这这一点的梯度为0。梯度消失了。

Wasserstein距离(EM距离):解决JS和KL距离的缺点

Wessertein距离相比KL散度和JS散度的优势在于:即使两个分布的支撑集没有重叠或者重叠非常少,仍然能反映两个分布的远近。而JS散度在此情况下是常量,KL散度可能无意义。
wasserstein距离就是衡量把概率分布q“搬到” p的最小代价。

Wasserstein距离度量两个概率分布之间的距离,定义如下:

\[W(P_1,P_2)=\inf\limits_{\gamma-\prod(P_1,P_2)}E_{(x,y)-\gamma}[||x-y||] \]

其中, \(\prod(P_1,P_2)\)\(P_1,P_2\)组合起来的,所有可能的联合分布, 对于每一个可能的分布\(\gamma\)而言, 我们都可以采样到\(x,y\), 并计算他们的距离的期望值, 一般, 在代码实现的时候, 会直接取平均值

posted @ 2020-09-05 22:35  real-zhouyc  阅读(1154)  评论(0编辑  收藏  举报