摘要：
1.基本理论 双向 RNN 结合时间上从序列起点开始移动的 RNN 和另一个时间上从序列末尾开始移动的 RNN 2.逻辑图 其中 h (t) 代表通过时间向前移动的子 RNN 的状态，g (t) 代表通过时间向后移动的子 RNN 的状态 允许输出单元 o (t) 能够计算同时依赖于过去和未来且对时刻 阅读全文
摘要：
1.用于处理序列数据的神经网络 s (t) = f(s (t−1) ;θ) 2.循环神经网络 阅读全文
摘要：
1.卷积运算 卷积的第一个参数（在这个例子中，函数 x）通常叫做输入（input），第二个参数（函数 w）叫做核函数（kernel function）。 输出有时被称作特征映射（feature map） 2.动机 卷积运算通过三个重要的思想来帮助改进机器学习系统： 稀疏交互（sparseintera 阅读全文
摘要：
1.随机梯度下降 保证SGD收敛的一个充分条件是 线性衰减学习率直到第 τ 次迭代： 其中 α =k/τ 。在 τ 步迭代之后，一般使 ϵ 保持常数 通常 τ 被设为需要反复遍历训练集几百次的迭代次数。通常 ϵ τ 应设为大约 ϵ 0 的 1%。主要问题是如何设置 ϵ 0 。若 ϵ 0 太大，学习曲 阅读全文