常见损失函数记录
常见损失函数记录，主要是自己记一下公式，没啥讲解
均方误差，绝对值损失，0-1损失
最简单的几种，没啥好说的
\[L(Y, f(X))=(Y-f(X))^{2} \\
L(Y, f(X))=\left\{\begin{array}{ll}{1,} & {Y \neq f(X)} \\ {0,} & {y=f(X)}\end{array}\right.\\
L(Y, f(X))=|Y-f(X)|
\]
Hinge Loss
来自SVM
二分类情况
\[L(y, \tilde{y}) = \max(0, 1-y\tilde{y}), y=\pm 1
\]
出自SVM，也叫做SVM loss，从数学表达式就可以看出不止要分类正确，还需要间隔最大化。
多分类情况
\[L(y, \tilde{y}) = \max(0, 1-（\tilde{y}_t - \tilde{y}_k), y=\pm 1
\]
其中的\(\tilde{y}_t\)和\(\tilde{y}_k\)分别是得分最高和第二高的两个分量
Log Loss
标准形式
\[L(Y, P(Y | X))=-\log P(Y | X)
\]
交叉熵
\[L(y, \hat{y})=-\sum_i y_ilog(\hat{y}_i)
\]
对应one hot和单标签则变为
\[L(y, \hat{y})=-log(\hat{y}_t)
\]
逻辑回归中的形式(也可从极大似然角度和log loss角度推导）
\[L=-\left((y_i\log p_i)+(1-y_i)\log(1-p_i)\right)
\]
