训练Loss阶梯式下降问题

问题

训练某个数据集时发现，Loss会在摸某一个Epoch之后再次出现一个断崖式下降，而不是正常的圆滑下降。

如图：

 

解决

在模型设计上加入残差模块解决。