深度学习实战 Tricks

1. 梯度消失与梯度爆炸

• gradient clipping
  
  • 梯度爆炸：min(grad_max，grad)
    
    • grad_max：梯度上限
  • 梯度消失：max(grad_min, grad)
    
    • grad_min：梯度下限；