2018年7月24日
梯度消失 + 梯度爆炸
摘要： -正交初始化->解决梯度消失/爆炸 - 使用ReLU激活函数->解决梯度消失 - 对梯度进行剪切（gradient clipping）->解决梯度爆炸 - 引入更复杂的结构，例如LSTM、GRU->解决梯度消失 阅读全文
posted @ 2018-07-24 00:11 Sherry_Yang 阅读(143) 评论(0) 推荐(0) 编辑