摘要：
我们在 4.7节中描述了多层感知机中的 前向与反向传播及相关的计算图。 循环神经网络中的前向传播相对简单。 通过时间反向传播（backpropagation through time，BPTT） (Werbos, 1990)实际上是循环神经网络中反向传播技术的一个特定应用。 它要求我们将循环神经网络 阅读全文
摘要：
独热编码 回想一下，在train_iter中，每个词元都表示为一个数字索引， 将这些索引直接输入神经网络可能会使学习变得困难。 我们通常将每个词元表示为更具表现力的特征向量。 最简单的表示称为独热编码（one-hot encoding）， 它在 3.4.1节中介绍过。 简言之，将每个索引映射为相互不 阅读全文
摘要：
隐状态 无隐状态的神经网络 有隐状态的循环神经网络 循环神经网络（recurrent neural networks，RNNs） 是具有隐状态的神经网络。 （循环层、输出层） Xt为三维张量（时间步数num_steps，批量大小batch_size，词表大小vocab_size） Qt为三维张量（时 阅读全文