2018年1月29日
信息论的知识点
摘要： 要点 熵：$H(X)=E_{X\sim P}[I(X)]=-E_{X\sim P}[\log P(x)]$ 相对熵：$D_{p||g}=E[\log\frac{p(x)}{g(x)}]\geqslant 0$。 互信息：$I(X;Y)=\sum_{x,y} P(x,y) \log \frac {P( 阅读全文
posted @ 2018-01-29 15:58 yunfeng_net 阅读(1453) 评论(0) 推荐(1) 编辑