基石1：loss function

损失函数就是评估预测值和真实值的差距。

分类：经验损失（所有样本上的平均值，所以是经验），结构损失（在经验损失的基础上添加正则项）

常见分类

a. 0-1 loss

非黑即白，正确就是 loss=0，错误就是 loss = 1。

有点过于严苛，所以 svm 放松到一定距离。

由于是非凸函数，不适用 gradient descent。

 

b. 绝对值损失函数

详见 l1 loss

 

c. log loss

 

 

d. 平方误差损失函数

详见 l2 loss

 

结构损失

1. l1 loss

脑海中可以是它的求导函数。-1， 1，0处不可导。倒数先降后升，所以有最小值点。即为0。

由于倒数不是 -1， 就是1。对异常点不敏感。但是训练到后期，如果学习率不发生改变，损失函数会在稳定值附近波动，难以达到高精度。

 

2. l2 loss

倒数是 2*（y- y_true），下降速度与差值有关，所以会对异常点敏感。但是后期，更稳定，收敛速度更快。

由于各处倒数不一致，可能有的地方梯度很大，有的地方梯度很小，造成梯度下降或者梯度爆炸。