熵

关于熵这篇文章比较全

学习的前提了解

数学期望(mean)（或均值，亦简称期望） 是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。

 

 

熵是一种自信息

熵越大， 它的不确定性越大

 

信息熵：每个信息量的数学期望H(x)= E(log(1/p))，就是其概率对应的相乘相加！！

对于为什么取log，没有具体的一些说明，但是要保证我们所选择的函数必须符合先递增后递减的一个过程。

如果 X 是一个离散型随机变量，其概率分布为： p(x) = P(X = x)，。X 的熵 H(X) 为：

约定 0log 0 = 0　　　　　　熵单位是bits

 

 

联合熵(joint entropy)：

如果 X, Y 是一对离散型随机变量 X, Y ~ p(x, y)， X, Y 的联合熵 H(X, Y) 为：

 

条件熵(conditional entropy):
给定随机变量 X 的情况下，随机变量 Y 的条件 熵定义为:

 

连锁规则：