摘要： 造成梯度爆炸的原因是求导得到的值大于1，造成导数很大，损失函数的值沿着梯度的方向呈下降趋势，然而，如果梯度（偏导数）很大话，就会出现函数值跳来跳去，收敛不到最小值。这个时候可以用梯度裁剪来解决问题。 梯度裁剪：对梯度进行裁剪，论文提出对梯度的L2范数进行裁剪，也就是所有参数偏导数的平方和再开方。主要 阅读全文