机器学习总结：几种常见的损失函数（Loss function）

 

1. 平方损失函数 Square Error:

    $$L(f(x),y)=(f(x)-y)^{2}$$ 

    这时经验风险函数是MSE，例如在线性回归中出现

 

2. 绝对值损失函数： 

    $$L(f(x),y)=\vert f(x)-y\vert$$ 

   这时经验风险函数就是MAE 

 

3. 0-1损失函数：

   $$L(f(x),y)=1_{\lbrace f(x)\neq y\rbrace}$$

 

4. 对数损失函数(crossentropy)

       $$L(P(y\mid x),y)=-\log P(y\mid x)$$

    对应模型：logistic回归，softmax回归

    注意到，对于非平衡的二分类问题，我们也可以适当加上类的权重$w(y)$使其称为带权的对数损失函数:

     $$L(P(y\mid x),y)=-w(y)\log P(y\mid x),$$

    例如某个而分类问题的训练集：$D=\lbrace(x_{1},y_{1}),...,(x_{N},y_{n}), y_{i}\in\lbrace-1,+1\rbrace\rbrace$  

正例样本数$P$远远小于负例样本数{N}，我们可以适当选取$w(+1)$,$w(-1)$使得$w(+1)P$与$w(-1)N$更加接近一些。

 

5.指数损失函数  Exponential loss Function:

       $$L(f(x),y)=\exp(-y\cdot f(x))$$

    对应模型：AdaBoost 

    我们注意到，在对数几率回归二分类模型中，事实上对数损失函数可以被指数损失函数控制：

      $$\log(1+\exp(-yf(x)))\leq \exp(-yf(x)),$$

    而指数损失函数更加便于计算和求导，于是它就适合作为AdaBoost中每一个弱分类器的损失函数。

 

6. Hinge损失函数

     $L(x)=[1-tx]_{+}$

    见于SVM中。