交叉熵损失(cross-entropy)和折页损失(Hinge loss)
-
Cross-Entropy Loss
假设是一对训练样本,
是训练数据,
是对于分类的one hot向量(该向量只有真实分类的参数为1,其余位数均为0)。假设通过softmax算得预测值
,则损失表示如下:
很明显的我们看到这个损失涉及到了哪些参数,只有两个,那就预测值和真实值。这里的真实值采用one hot encoding,预测值则必须是概率分布。
例如
在这里我们只需要关注y的1数位,因为其他位数都为0,乘积也就为0
那么,我们可以得到 -
Hinge Loss
很显然,我们分析交叉熵损失,有些缺点是不可避免的。因为其预测值是概率分布,导致不可避免的计算瓶颈,当我们遇到的类别非常庞大时,计算量的代价是巨大的。虽然概率分布的形式最为直观,但其实可以直接使用得分来判断具体的分类。
损失的表达式计算为:
很容易发现相对于交叉熵,折页仅仅多了一个参数。三个参数分别是(代表其他所有类的得分),
(真实类别的得分)
这里简要的说明,为什么要在这里添加这个参数呢?例如当最高得分的分类得到了45分,而第二高得到了43分,显然得到的结果是不令人信服的。所以在这里加入该参数,相当于给最大的值一个区间,拉开与其他分类的差距。
通过分析,什么时候损失会变为0呢,就是当真实类别的得分要比其他所有分类都要到高的时候,这显然是符合现实场景的。 -
计算与比较
那么给定了以上的情形,真实类别先定位y[2],也就是最后一个类别。面对这种的情况,两种损失到底应该如何计算呢? -
首先来计算Hinge loss,假设情形为支持向量机
-
再来计算Cross-Entropy Loss,假设使用softmax进行激活
首先还是计算三个类别的输出
接着输出经过exp
再进行归一化
在这里,分类是第二类,所以其他类都为0,可以轻松得到结果