Maximum Mean Discrepancy (MMD) 和KL散度

MMD

MMD 用于检验两组数据是否来源于同一分布，即假设$D_s=(x_1,x_2,\cdots ,x_n)\sim P(x)$和$D_t=(y_1,y_2,\cdots ,y_n)\sim Q(x)$，MMD用于检验$P=Q$是否成立。

KL散度

KL散度定义是

$$KL(P,Q)=\sum P(x)\log \frac{P(x)}{Q(x)}$$

当$P(x)$与$Q(x)$越相似，KL散度越小。
为了计算KL散度，必须要知道$P$和$Q$的密度函数。因此KL散度常用于监督学习方法，用于衡量训练分布$P_{model}$与真实分布
$Q_{real}$之间的相似性。（交叉熵损失本质上就是KL散度的变形）

而MMD评价两堆数据是否具有相似性。这与KL散度具有本质上的不同。

参考内容：
https://www.cnblogs.com/zhangcn/p/13710192.html