交叉熵损失函数

信息量

它是用来衡量一个事件的不确定性的；一个事件发生的概率越大，不确定性越小，则它所携带的信息量就越小。假设\(X\)是一个离散型的随机变量，其取值集合为\(X\) = \(x_0，x_1...x_n\),其概率分布函数为\(p(x) = Pr(X = x),x\in X\),则定义事件\(X = x_0\)的信息量为：

\[I(x_i)=-log(p(x_i)) \]

当\(p(x_0) = 1\) 时，该事必定发生，其信息量为0。

熵

熵用来衡量一个系统的混乱程度，代表系统中信息量的总和；熵值越大，表明这个系统的不确定性就越大。

信息量是衡量某个事件的不确定性，而熵是衡量一个系统（所有事件）的不确定性。
熵的计算公式:

其中，\(p(x_i)为事件X = x_i的概率，-log(p(x_i))为事件X = x_i 的信息量。\)
可以看出，熵是信息量的期望值，是一个随机变量（一个系统，事件所有可能性）不确定性的度量。熵值越大，随机变量的取值就越难确定，系统也就越不稳定；熵值越小，随机变量的取值也就越容易确定，系统越稳定。

交叉熵 Cross Entropy

交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出，\(H(p,q)\)为交叉熵，则表达式
（1）二分类

N表示一个batch的样本数
\(p(x_i)\) 表示样本i的label，正类为1，负类为0
\(q(x_i)\) 表示样本i预测为正的概率

（2）多分类

M表示类别数
\(p(x_{ij})\) 表示变量（0或1）,如果该类别和样本i的类别相同就是1，否则是0；
\(q(x_{ij})\) 表示对于观测样本i属于类别\(j\)的预测概率。

例如：

X	猫	狗	鸟
Label	0	0	1
Pred	0.1	0.1	0.8

那么一个样本的loss为：
\(loss= -(0 * log(0.1)+0*log(0.1)+1*log(0.8)) = 0.22\)