xinet

摘要： 定义一个事件 $X=x$ 的 自信息 为 $$ I(x) = \log P(x) $$ 信息熵 简称 熵 , 是表示随机变量不确定性的度量. 定义为 $$ H(X) = \mathbb{E}_{X \sim P}[I(x)] = \mathbb{E}_{X \sim P} [\log P(x)] $ 阅读全文