损失函数汇总（全网最全）

损失函数汇总（全网最全）

一 损失函数简介

二 常见的损失函数

分类和回归任务中的损失函数为什么不同？ 

 

 对于分类任务，为什么不采用平方损失/L1损失？

对于分类任务，为什么不采用平方损失/L1损失？

 

理论层面：

① 平方数损失函数假设最终结果都服从高斯分布，而高斯分布实际上是一个连续变量，并不是一个离散变量。

② 神经网络反向传播过程中涉及到的损失函数求导问题。

 

 二 常见的损失函数

① 二/多分类交叉熵损失

② focal loss

③ Contrastive Loss

④ Triplet Loss

⑤ Center Loss

⑥ KL散度

⑦ 增强边缘余弦损失函数

⑧ circle loss

 二/多分类交叉熵损失

 

 focal loss

出自2017年何凯明大佬的论文：Focal Loss for Dense Object Detection ICCV2017

 

 

 

 Contrastive Loss

出自Yann LeCun的论文：Dimensionality Reduction by Learning an Invariant Mapping

 

 

Triplet Loss

 

出自论文：FaceNet: A Unified Embedding for Face Recognition and Clustering

 

 

 

 

Center Loss

出自论文：A Discriminative Feature Learning Approach for Deep Face Recognition(ECCV)

 

KL散度

 

 

 

增强边缘余弦损失函数

 

 

 

 

circle loss