摘要：
##一、RNN的网络结构 ##二、前向传播 假定隐藏单元的激活函数是tanh，输出是离散的。表示离散变量的常规方式是把输出O作为每个离散变量可能值的非标准化对数概率。然后经softmax函数处理后，获得标准化后概率的输出向量$\hat$。RNN从特定的初始状态$h^{\left ( 0 \right 阅读全文
摘要：
##RNN简介 循环神经网络的主要用途是处理和预测序列数据。 ##RNN的网络结构 ###1、循环神经网络的经典结构 从网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面节点的输出。 参数共享思想：由于模块A中的运算和变量在不同时刻是相同的，因此循环神经网络理论上可以看作是同一神经网 阅读全文