机器学习——熵，交叉熵，相对熵

熵

熵—不确定性角度

通常，一个信源发送什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现的机会就大，不确定性就小；反之不确定性就大。在信源中，考虑的不是某一单个符号的不确定性，而是考虑这个信源所有可能发生情况的平均不确定性。

若信源符号有n种取值:\(u_1, u_2, ..., u_n\)，其对应概率分别为\(p_1, p_2, ..., p_n\)，且各种符号的出现彼此独立。这时，信源的平均不确定性定义为单个符号概率的负对数统计平均值，将其命名为信息熵。即\(H(U)=E[-logp_i]=-\sum_{i=1}^{n}p_ilogp_i\)（这里负对数是一个减函数，合乎上文不确定性与概率的关系）

熵——信息量角度

在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称信息熵。这里，“消息”代表来自分布或者数据流中的事件、样本或特征。来自信源的另一个特征是样本的概率。这里的想法是，比较不可能发生的事件，当它发生了，会提供更多的信息。由于一些其它的原因，把信息（熵）定义为概率分布对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值即期望就是这个分布产生的信息量的平均值即熵。

熵的计算

抛硬币事件：正面向上，反面向上的概率分别为\(p_1, p_2\)，则该事件的信息熵为\(H=p_1log_1 + p_2logp_2=p_1log_1+(1-p1)log(1-p1)\)，这个信息熵函数是一个凸函数，有一个最大值即正面
向上和反面向上的概率值相等时，熵取最大值为1（对数是以2为底，熵的单位是比特）。

我们无法预知下一个硬币抛掷的结果是什么，因此每一次抛硬币都是不可预测的，因此使用一枚正常的硬币进行若干次抛掷，这个时间的熵至多是一个比特，因为结果不外乎两个——正面或者
反面，可以用0，1编码。而且两个结果是彼此独立的，若进行n次独立实验，则熵可用长度为n的比特流表示。