硬学信息熵的一些理解

本博客旨在通过一些例子不严谨但直观的“推出”信息熵的概念。

首先，信息熵是度量一件事儿的不确定性的，而这里“一件事儿”更确切的说是“一个随机变量及其分布”。比如，扔硬币这件事儿其实是离散型随机变量\(P=\{0,1\}\)服从\(\{\frac12,\frac12\}\)的随机分布。

所以，我们定义一个离散型随机变量\(P\)的信息熵为\(H(P)\)，我们希望\(P\)越不确定\(H(P)\)就越大。

定义一个量当然要定义这个量一个单位的含义，我们不如就假设，抛一个硬币看正反面所对应的随机变量\(P1\)的信息熵\(H(P1)=1\)。

接下来，我们假设有\(H(A+B)=H(A)+H(B)\)成立，即两件事情之和的不确定性等于两件事情各自的不确定性之和，你可能觉得这个假设有些道理又有些没道理，那么不妨继续看下去————如果顺着这个假设能推出来有用的东西，那这个假设自然就是有道理的了。

按照上述假设，我们发现同时抛掷三枚硬币的信息熵应该是\(3H(P1)=3\)，而该事件所对应的随机变量\(P2\)是以\(\frac18\)等概率分布的。

对比一下以\(\frac12\)概率等概率分布的\(P1\)信息熵是\(1\)，而以\(\frac18\)等概率分布的\(P2\)信息熵是\(3\)。因此我们不妨先写出一个初步的定义：

若随机变量\(P\)是服从以\(p\)为概率的等概率分布，则\(H(p)=-log(p)\)。

那么如果不等概率呢？数学感觉好的大佬可能会发现，\(H(P1)=-log(p)=-log(0.5)=1\)可以理解为\(H(P1)=-\frac{log(0.5)}{2}-\frac{log(0.5)}{2}\)，即每一种可能性的\(log(p)\)按照其概率\(\frac12\)取平均值。因此大胆猜测，如果有一个随机变量\(P3\)的分布是\(\{\frac14,\frac34\}\)的话，那么其\(H(P3)=-\frac{log(0.25)}{4}-\frac{3log(0.75)}{4}\)。

这合理吗？计算发现\(H(P3)=0.81...\)，比\(H(P1)=1\)要小，而\(P3\)也确实应该有更小的不确定性（因为\(P3\)有\(\frac34\)的概率取到一个值，所以我们可以更确定这个值被取到的概率更大）。

因此，总结上面的内容，我们得到：如果有一个随机变量\(P\)的分布为\(\{p_1,p_2,...,p_n\}\)，那么我们定义其信息熵为：$$H(P)=\Sigma_{i=1}^{n} -p_ilog(p_i)$$