摘要：
来自: https://cs231n.github.io/optimization-2/ 动机。在本节中，我们将通过对反向传播的直观理解来发展专业知识，反向传播是一种通过递归应用链式法则来计算表达式梯度的方法。理解这个过程及其微妙之处对于理解并有效地开发、设计和调试神经网络至关重要。 问题陈述。本节 阅读全文
摘要：
在本教程的前一部分中，我们从无开始实现了一个RNN，但是没有详细说明反向传播(BPTT)算法是如何计算梯度的。在这一部分中，我们将简要概述BPTT，并解释它与传统的反向传播有何不同。然后我们将尝试理解消失梯度问题，这导致了LSTMs和GRUs的开发，这是目前在NLP(和其他领域)中使用的两个最流行和 阅读全文
摘要：
语言建模 我们的目标是利用RNN建立一个语言模型。也就是，如果我们有个句子有m个单词，一个语言模型允许我们预测观察到句子的概率为： 也就是说，这个句子是由每个单词前面给定词汇的概率决定的。因此，句子的概率，“他想去买一些巧克力”，将会是，给定‘他想去买一些’后，‘巧克力’的概率，乘以给定‘他想去买’ 阅读全文
摘要：
卷积神经网络（RNN）是一种流行的网络结构，可以处理很多NLP的任务。尽管它们最近非常流行，但是对于其如何工作原理的解释是非常少有的。这个是这个教程将要做的事情。接下来要讲一下多系列： 1. 介绍RNN（本部分） 2. 利用Python和Theano实现一个RNN 3.通过BPTT算法理解后向传播和 阅读全文