RNN, LSTM

# 矩阵代表变换方式，相当于加减乘除。值就是值。
# ：param varname: jsDoc风格的注释，用于说明参数的作用

LSTM笔记、个人理解：

设定：先遗忘→再输入门→输出门
C_t-1负责长时记忆，h_t-1负责短时记忆

遗忘门

$f_t=\sigma ({\mathbf{W}}_f[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+b_f)$
[h_t-1,x_t]代表纵向堆叠：$\left[\begin{array}{c}{h}_{t-1}\\ x_t\end{array}\right]$

输入门

${\mathit{i}}_t=\sigma ({\mathit{W}}_i[{\mathit{h}}_{t-1},{\mathit{x}}_t]+b_i)$
${\tilde{\mathit{c}}}_t=tanh({\mathit{W}}_c[{\mathit{h}}_{t-1},{\mathit{x}}_t]+b_c)$

长时记忆更新

$\mathit{c}={\mathit{f}}_t\cdot {\mathit{c}}_{t-1}+{\mathit{i}}_t\cdot {\tilde{\mathit{c}}}_t$
$f_t$的乘法比后面加法影响更大

输出门

输出：${\mathit{o}}_t=\sigma ({\mathit{W}}_o\cdot [{\mathit{h}}_{t-1},{\mathit{x}}_t]+b_o)$
隐藏层：${\mathit{h}}_t={\mathit{o}}_t\cdot tanh(c_t)$

与RNN对比

本文假设都用：
sigmoid $\sigma$ 函数：做输出层激活函数
tanh函数：隐藏层激活函数

$o_t=\sigma (W_o\cdot h_t+b_o)$
$h_t=tanh(W_{in}\cdot x_t+W_h\cdot h_{t-1})$