yunfeng_net

摘要： 要点 熵：$H(X)=E_{X\sim P}[I(X)]=-E_{X\sim P}[\log P(x)]$ 相对熵：$D_{p||g}=E[\log\frac{p(x)}{g(x)}]\geqslant 0$。 互信息：$I(X;Y)=\sum_{x,y} P(x,y) \log \frac {P( 阅读全文