-正交初始化->解决梯度消失/爆炸
- 使用ReLU激活函数->解决梯度消失 - 对梯度进行剪切(gradient clipping)->解决梯度爆炸 - 引入更复杂的结构,例如LSTM、GRU->解决梯度消失