E-Dreamer

脚踏实地,仰望星空

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

  前情提要—— 网上关于目标检测框架——faster r_cnn有太多太好的博文,这是我在组会讲述faster r_cnn这一框架时被人问到的一个点,当时没答上来,于是会下好好百度和搜索一下研究了一下这个问题。

先看faster r_cnn的对bounding_box的回归损失函数:

  百度百科的解释是:对于边框的预测是一个回归问题。通常可以选择*方损失函数(L2损失):f(x)=x^2。但这个损失对于比较大的误差的惩罚很高。我们可以采用稍微缓和一点绝对损失函数(L1损失):f(x)=|x|,它是随着误差线性增长,而不是*方增长。但这个函数在0点处导数不唯一(这里应该是0点两边的导数,因为0点处导数不存在),因此可能会影响收敛。一个通常的解决办法是在0点附*使用*方函数使得它更加*滑。它被称之为*滑L1损失函数,它通过一个参数sigma来控制*滑的区域。

  牛客网的解释:是当预测值与目标值相差很大时,L2 Loss的梯度为(x-t),容易产生梯度爆炸,L1 Loss的梯度为常数,通过使用Smooth L1 Loss,在预测值与目标值相差较大时,由L2 Loss转为L1 Loss可以防止梯度爆炸。

 

posted on 2019-03-30 21:02  E-Dreamer  阅读(803)  评论(0编辑  收藏  举报