对熵和自信息的理解

先说自信息，自信息是描述一个事件不确定度的大小（描述随机变量带来的信息大小）书上说是描述随机变量的不确定性的数量（不确定性的数量神马意思嘛），一个事件的不确定度越大，它带来的自信息也就越大，公式：-logp(x) 或者    log1/p(x) （在计算机领域里log都是以2为低的）

比如说某一随机变量的概率为1/5  ， 那么它的自信息就是5比特。（自信息的单位是bite，比特）就是说这个随机变量带来5比特的信息。

熵就是自信息的数学期望也就（自信息的平均值），换句话说熵是信源发出的每一个符号后所带来的信息的平均值（不知道这么理解对不对），所以说熵又称为自信息，公式：Σp(x_i)log1/p(x_i)  ，    你看这个公式和期望的公式是很相似的。

所以和自信息一样，熵越大，不确定度越大，正确估计它的概率越小，反之。越不确定的随机变量越需要大的信息量来确定其值。

 

记得老师上课说，如果一个班级的分数都一样，那么这个班级的不确定度就越大，你无法很好的看出班级的水平，如果分数高低不等，这样就可以很好的了解这个班级的情况。（数字图像课上。。）

确定的事情，自信息为0。

 

这就是我的初次理解了，感觉还是不太懂呢~求指正和批评