损失函数

交叉熵损失函数Cross Entropy Error Function

1. 二分类表达式

   

其中：

• y——表示样本的label，正类为1，负类为0

• p——表示样本预测为正的概率

  \(y=1\)时，对应的\(p\)越大则\(-log(p)\)越小，即损失越小

  同理 ，\(y=0\)时，\(p\)越小，\(-log(1-p)\)越小，即损失越小

  eg: \(target=1\),预测\([0.6,0.4]\),\(L=-[1*log(0.6)]+0]\)

2. 多分类

   多分类的情况实际上就是对二分类的扩展：

   

   其中：
   - ——类别的数量；
   - ——指示变量（0或1）,如果该类别和样本的类别相同就是1，否则是0；
   - ——对于观测样本属于类别 的预测概率。

   现在我们利用这个表达式计算上面例子中的损失函数值：

   模型1：
   

   模型2：

   

可见，交叉熵损失函数只关注某一类别的信心最大概率，为0的概率不计算