小艾衰

摘要： ##KL散度（相对熵） $KL(P||Q)=\sum{p(x)}log\frac{p(x)}{q(x)}$ $KL(Q||P)=\sum{q(x)}log\frac{q(x)}{p(x)}$ 用来衡量两个分布之间的差异，交叉熵$-p(x)log(q(x))$减去信息熵$-p(x)log(p(x))$ 阅读全文