2015年8月15日
Long-Short Memory Network(LSTM长短期记忆网络)
摘要： 自剪枝神经网络 Simple RNN从理论上来看，具有全局记忆能力，因为T时刻，递归隐层一定记录着时序为1的状态 但由于Gradient Vanish问题，T时刻向前反向传播的Gradient在T-10时刻可能就衰减为0。 从Long-Term退化至Short-Term。 尽管ReLU能够在前馈网络 阅读全文
posted @ 2015-08-15 17:08 Physcal 阅读(4835) 评论(0) 推荐(0) 编辑
Recurrent Neural Network(循环神经网络)
摘要： Reference: Alex Graves的[Supervised Sequence Labelling with RecurrentNeural Networks]Alex是RNN最著名变种，LSTM发明者Jürgen Schmidhuber的高徒，现加入University of Toront... 阅读全文
posted @ 2015-08-15 12:49 Physcal 阅读(19189) 评论(2) 推荐(2) 编辑