梯度消失 + 梯度爆炸

-正交初始化->解决梯度消失/爆炸

- 使用ReLU激活函数->解决梯度消失 
- 对梯度进行剪切（gradient clipping）->解决梯度爆炸 
- 引入更复杂的结构，例如LSTM、GRU->解决梯度消失

posted @ 2018-07-24 00:11  Sherry_Yang  阅读(143)  评论(0)  编辑  收藏  举报