focal loss焦点损失

object detection按其流程来说，分为两大类。一类是two stage，另一类是one stage detector
虽然one stage detector检测速度快，但是mAP准确度不行。
原因之一：(正负样本不平衡)
候选框中，仅仅非常少一部分含有物体。
这带来的问题就是：样本中会存在大量的都是负样本(属于背景的样本)。会对loss起主要贡献作用，会主导梯度的更新方向。
这样，网络学不到有用的信息，无法对object进行准确分类。
无用的反例样本会使得模型的整体学习方向跑偏，导致无效学习，即只能分辨出没有物体的背景，而无法分辨具体的物体。负样本数量太大，占总的loss函数输入参数的大部分，而且多是容易分类的，因此使得模型的优化方向

首先回顾二分类交叉熵损失：

其中 y 是真实样本的标签（1正0负）， y’ 是经过 sigmoid 激活函数的预测输出（数值在0-1之间）。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。

作者由此提出Focal loss函数：

首先在原有的基础上加了一个因子，其中Gamma>0使得减少易分类样本的损失，使得模型更关注于困难的、错分的样本。

例如：Gamma为2时，对于正类样本而言，预测结果为0.95肯定是简单样本，所以（1-0.95）的gamma次方就会很小，这时损失函数值就变得更小。而预测概率为0.3的样本其损失相对很大。对于负类样本而言同样，预测0.1的结果应当远比预测0.7的样本损失值要小得多。对于预测概率为0.5时，损失只减少了0.25倍。所以更加关注于这种难以区分的样本。这样减少了简单样本的影响，大量预测概率很小的样本叠加起来后的效应才可能比较有效。

在此基础上，再引入一个平衡因子 Alpha，用来平衡正负样本本身的数量比例不均（即类别不均衡）：

只添加Alpha虽然可以平衡正负样本的重要性，但是无法解决简单与困难样本的问题，因此针对难分样本的Gamma也必不可少。