yolo v3 loss=nan, Avg loss=nan的一种原因
我这里是由于数据整理错误导致的,同一标注区域重复2次送入模型,具体如下:
1 0 0.798046875 0.5555555555555556 0.04296875 0.03611111111111111 2 0 0.931640625 0.6173611111111111 0.06953125 0.07083333333333333 3 0 0.869140625 0.5777777777777777 0.06171875 0.05277777777777778 4 0 0.837890625 0.5791666666666667 0.05546875 0.05555555555555555 5 0 0.798046875 0.5555555555555556 0.04296875 0.03611111111111111 6 0 0.931640625 0.6173611111111111 0.06953125 0.07083333333333333 7 0 0.869140625 0.5777777777777777 0.06171875 0.05277777777777778 8 0 0.837890625 0.5791666666666667 0.05546875 0.05555555555555555
上述为1张图片的标注数据,1-4行和5-8行重复。
训练过程中,批输出的loss初期逐渐减少至一定值后出现快速增长,最后变成nan.
这个原因还不太清晰,个人感觉是相同的数据导致梯度变化变为0,导致了梯度消失。