摘要:
循环神经网络的构造 假设$\boldsymbol{X}_t \in \mathbb{R}^{n \times d}$是时间步$t$的小批量输入,$\boldsymbol{H}_t \in \mathbb{R}^{n \times h}$是该时间步的隐藏变量,则: $$ \boldsymbol{H}_ 阅读全文
摘要:
1.语言模型 假设序列$w_1, w_2, \ldots, w_T$中的每个词是依次生成的,我们有 $$ \begin{align } P(w_1, w_2, \ldots, w_T) &= \prod_{t=1}^T P(w_t \mid w_1, \ldots, w_{t 1})\\ &= P( 阅读全文