信息熵

信息论

信息论的目的是对一个信号包含的信息的多少进行量化。1948年香农发表论文 A Mathematical Theory of Communication，其中采用了概率论的方法来研究通信中的问题，并对信息进行了定量描述，第一次提出信息熵的概念

信息量

信息量是对信息的量化。出发点是一个不太可能发生的消息比一个很可能会发生的消息提供了更多的信息。比如“明天早上太阳会升起”是一个确定会发生的事情， 它提供的信息很少，相当于一句废话；而“明天早上会发生日食”这句话则不太可能发生，但它包含了很多的信息量。所以信息量与发生的概率一定是一个递减的关系（概率大则信息量少，概率小则信息量大）。如此定义信息量：

\[I(x) = -log_2{p} \]

不一定以2为底，有的人以10为底，或以 e 为底

信息熵

信源含有的信息量是信源发出的所有可能消息的平均不确定性，即包含的信息量的平均统计值。信息论创始人香农把信源包含的信息量称为信息熵（Entropy）。假设信息D包含m种可能的事件，则信息熵为：

\[H(D) = E(I_D(x)) = - \sum_{i=1}^m{p_i log_2{p_i}} \]

信息量和信息熵的单位均为 bit