LSTM细节

为什么使用tanh？

为了克服梯度消失问题，我们需要一个二阶导数在趋近零点之前能维持很长距离的函数。tanh是具有这种属性的合适的函数。

为什么要使用Sigmoid？

由于Sigmoid函数可以输出0或1，它可以用来决定忘记或记住信息。