张量的限幅

1.clip_by_value --------根据值进行裁剪

 

 2.rule函数

 

 3.clip_by_norm根据范数来裁剪 保持向量的方向不变,就是梯度不变,只改变向量的模 根据二范数 (可以使神经网络的梯度下降更好)

 

 

 

 

 

裁剪之前梯度明显过大

 

 

 

 

 裁剪之后梯度明显变小

posted on 2020-11-11 21:16  龑覭  阅读(83)  评论(0编辑  收藏  举报