摘要： 神经网络分类 多层神经网络：模式识别 相互连接型网络：通过联想记忆去除数据中的噪声 1982年提出的Hopfield神经网络是最典型的相互连结型网络。 联想记忆 当输入模式为某种状态时，输出端要给出与之相应的输出模式。 如果输入模式与输出模式一致，称为自联想记忆，否则，称为异联想记忆。 Hopfie 阅读全文

摘要： RNN的长期依赖问题 什么是长期依赖？ 长期依赖是指当前系统的状态，可能受很长时间之前系统状态的影响，是RNN中无法解决的一个问题。 如果从(1) “ 这块冰糖味道真？”来预测下一个词，是很容易得出“ 甜 ”结果的。但是如果有这么一句话，(2)“ 他吃了一口菜，被辣的流出了眼泪，满脸通红。旁边的人赶 阅读全文

摘要： 继上一篇：Memory Network 1. 摘要 引入了一个神经网络，在一个可能很大的外部记忆上建立了一个recurrent attention模型。 该体系结构是记忆网络的一种形式，但与该工作中的模型不同，它是端到端培训的，因此在培训期间需要的监督明显更少，这使得它更适合实际环境。 它还可以看作 阅读全文