常见的损失函数与常用模型评价指标
一、损失函数
1、0~1损失
$$L(y_{i},f(x_{i}))=\begin{Bmatrix}
1 & y_{i}\neq f(x_{i})\\
0& y_{i}=f(x_{i})
\end{Bmatrix}$$
0~1损失简单易于理解，用于分类，如果预测的标签和数据标注的标签一致，那么就为0，否则就为1，当然，如果认为相等的要求太严苛，可以放宽要求，用实际值和预测值做差取绝对值。
$$L(y_{i},f(x_{i}))=\begin{Bmatrix}
1 & \mid y_{i}- f(x_{i})\mid \geqslant t\\
0& \mid y_{i}-f(x_{i})\mid < t
\end{Bmatrix}$$
2、平方损失函数
$$L(y_{i},f(x_{i}))=(y_{i}-f(x_{i}))^{2}$$
线性回归的损失函数
$$L(\omega,x)=\frac{1}{2N}\sum_{i=1}^{N}(y^{i}-\omega^{T}x^{i})^{2}+\frac{\lambda}{2}\left \| \omega \right \|^{2}$$
3、绝对损失函数
$$L(y_{i},f(x_{i}))=\left | y_{i}-f(x_{i}) \right |$$
4、对数损失函数（Log loss or cross-entropy loss）
$$L(y_{i},f(x_{i}))=-logP(y_{i}|x_{i})$$
5、Hinge Loss（铰链损失函数）
$$L(y_{i},f(x_{i}))=max(0,1-y_{i}f(x_{i}))$$
6、指数损失函数
$$L(y_{i},f(x_{i}))=exp(-y_{i}f(x_{i}))$$
二、分类评判指标
| 混淆矩阵 | 预测值 | ||
| positive | negtive | ||
| 真实值 | positive | TP | FN |
| negtive | FP | TN | |
- P 所有正样本
- N 所有负样本
1、Accuracy
$$Accuracy=\frac{TP+TN}{P+N}$$
2、Precision
$$Precision=\frac{TP}{TP+FP}$$
3、Recall
$$Recall=\frac{TP}{P}$$
4、F1
$$F1=2*\frac{Precision*Recall}{Precision+Recall}$$
5、ROC
在信号检测中，ROC（receiver operating characteristic curve）是一种坐标图示的分析工具。用来挑选模型并且用来设定阈值的方法。ROC空间将FPR（伪阳率）设定为横轴，TPR（真阳率）设定为纵轴。
$$TPR=\frac{TP}{P}$$
$$FPR=\frac{FP}{N}$$
ROC曲线产生的过程：
- 将预测样本的概率值score由大到小排序
- 接着我们从高到低，依次将score作为threshold，将大于等于threshold的样本设为预测正样本，小于threshold的样本设定为预测负样本，然后分别计算在不同threshold下的TPR和FPR，绘制ROC曲线。
6、AUC
Roc下面积
