摘要：
文本预处理 预处理通常包括四个步骤： 1. 读入文本 2. 分词 3. 建立字典，将每个词映射到一个唯一的索引（index） 4. 将文本从词的序列转换为索引的序列，方便输入模型 读入文本 在此用一部英文小说，即H. G. Well的 "Time Machine" ，作为示例，展示文本预处理的具体过 阅读全文
摘要：
循环神经网络的构造 假设$\boldsymbol{X}_t \in \mathbb{R}^{n \times d}$是时间步$t$的小批量输入，$\boldsymbol{H}_t \in \mathbb{R}^{n \times h}$是该时间步的隐藏变量，则： $$ \boldsymbol{H}_ 阅读全文
摘要：
1.语言模型 假设序列$w_1, w_2, \ldots, w_T$中的每个词是依次生成的，我们有 $$ \begin{align } P(w_1, w_2, \ldots, w_T) &= \prod_{t=1}^T P(w_t \mid w_1, \ldots, w_{t 1})\\ &= P( 阅读全文