KL散度和JS散度

KL散度（相对熵）

\(KL(P||Q)=\sum{p(x)}log\frac{p(x)}{q(x)}\)
\(KL(Q||P)=\sum{q(x)}log\frac{q(x)}{p(x)}\)
用来衡量两个分布之间的差异，交叉熵\(-p(x)log(q(x))\)减去信息熵\(-p(x)log(p(x))\)
由于KL散度的非对称性，故更加方便使用的JS散度诞生

JS散度

设\(M=\frac{1}{2}(P+Q)\)
则有
\begin{eqnarray}JSD(P||Q) &=& \frac{1}{2}KL(P||M)+\frac{1}{2}KL(Q||M) \nonumber
\\ &=&\frac{1}{2}\sum{p(x)\log{(\frac{2p(x)}{p(x)+q(x)})}}+\frac{1}{2}\sum{q(x)\log{(\frac{2q(x)}{p(x)+q(x)})}} \nonumber\\
&=&\frac{1}{2}\sum{p(x)\log{(\frac{p(x)}{p(x)+q(x)})}}+\frac{1}{2}\sum{q(x)\log{(\frac{q(x)}{p(x)+q(x)})}} + \log{2}
\nonumber\end{eqnarray}
当分布P和分布Q完全不重叠时，JS散度为常数log2，梯度为0，无法反向传播