loss explosion
1.遇到大坑
笔者在最近的训练任务中,发现loss无穷大!!!
一般情况下,梯度变为nan都是出现了 , 等情况,导致结果变为+inf,也就成了nan。
2.寻找错误
由于笔者做的实例分割,在对bound ing box求loss的时候,采用的是smooth L1:
可以看到,loss为无穷时,是各个Zi 比较大的时候,由于其中我们在求anchors的时候是对整张图片做的归一化,所以求loss时要保证单位刻度一样。
改成:
结果:
笔者在最近的训练任务中,发现loss无穷大!!!
一般情况下,梯度变为nan都是出现了 , 等情况,导致结果变为+inf,也就成了nan。
由于笔者做的实例分割,在对bound ing box求loss的时候,采用的是smooth L1:
可以看到,loss为无穷时,是各个Zi 比较大的时候,由于其中我们在求anchors的时候是对整张图片做的归一化,所以求loss时要保证单位刻度一样。
改成:
结果: