摘要：
1. 概述 KL散度存在不对称性，为解决这个问题，在KL散度基础上引入了JS散度。 \[ J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L 阅读全文
摘要：
1. 概述 在信息论中，相对熵等价于两个概率分布信息熵的差值，若其中一个概率分布为真实分布，另一个为理论（拟合）分布，则此时相对熵等于交叉熵与真实分布信息熵之差，表示使用理论分布拟合真实分布时所产生的信息损耗。 \[ D_{K L}(p \| q)=\sum_{i=1}^{N}-p\left(x_{ 阅读全文