信息量+信息熵

信息量

在讨论什么是信息熵之前，我们先了解一下什么是信息量。

信息量可以用来用来衡量一个事件发生的惊奇程度。
事件发生的概率越低，该事件发生对应的惊奇程度越高。
比如，事件“天上出彩虹”就比事件“天上下雨”更令人惊奇，
因为前者的发生概率远远小于后者。

一个系统，包括的等可能事件的数量越多，事件的发生概率也就越低，
传递一个事件的发生, 所需的比特信号也就越多。

举例，假如有两城市A、B，二者只能通过01信号传递信息。
当A城投掷了1个硬币(2种等可能)时，我们至少需要使用$1=lo{g}_2(2)$个比特信号, 告诉B城市是正面朝上还是反面朝上。
类似地，当A城市投掷一个有8个面的骰子(8种等可能)时，我们至少需要$3=lo{g}_2(8)$个比特的信号来传递该信息。

假如系统中有$N$个等可能事件，那么我们将$I=lo{g}_2(N)$称为信息量。
由于等可能事件的发生概率为$\frac{1}{N}$，则信息量的公式可以写作$lo{g}_2(\frac{1}{N})$ 。
推而广之，假设事件$x_i$ 的发生概率为$p(x_i)$ ，则传递该事件发生需要的最少比特信号位（即信息量）为 $lo{g}_2\frac{1}{p(x_i)}$, 即 $-lo{g}_2(p(x_i))$ 。

信息熵

知道什么是信息量，我们就可以方便地计算信息熵了。
信息熵用于衡量整个事件空间包含的平均信息量，即信息量的平均期望。
我们只需要将事件空间中所有事件发生的概率，乘以该事件的信息量，即可得到信息熵：
$H_p(X)=\sum _{x=1}^{n}p(x_i)lo{g}_2\frac{1}{p(x_i)}$, 即 $H_p(X)=-\sum _{x=1}^{n}p(x_i)lo{g}_{2}p(x_i)$ 。

信息熵也被称作无损编码事件信息的最小平均编码长度。怎么理解呢？
学过霍夫曼树的同学都知道，为提升编码效率，可对不同事件采取不同长度的编码。
信息熵的作用，就是指出这种数据压缩效率的极限。