18 损失函数
损失函数：
https://zhuanlan.zhihu.com/p/77686118
这篇文章概括的很好了。。。总结下：
1 Loss Function vs Cost Function vs Objective Function
| 适用 | |
|---|---|
| 损失函数 Loss Function | 针对单个训练样本而言 |
| 代价函数 Cost Function | 针对整个数据集（或者说一个batch） |
目标函数 Objective Function 是一个更通用的术语，表示任意希望被优化的函数，用于机器学习领域和非机器学习领域（比如运筹优化）
一句话总结三者的关系就是：A loss function is a part of a cost function which is a type of an objective function.
2 均方差损失 Mean Squared Error Loss（MSE / L2 Loss）：回归
公式如下，详细看原文：
\[J_{M S E}=\frac{1}{N} \sum_{i=1}^{N}\left(y_{i}-\hat{y}_{i}\right)^{2}
\]
还有 平均绝对误差损失（MAE / L1），也是回归
3 交叉熵损失 Cross Entropy Loss：分类
BCELoss()、NLL_Loss()
