Hopfield神经网络

 

神经网络分类

多层神经网络：模式识别

相互连接型网络：通过联想记忆去除数据中的噪声

1982年提出的Hopfield神经网络是最典型的相互连结型网络。

联想记忆

当输入模式为某种状态时，输出端要给出与之相应的输出模式。

如果输入模式与输出模式一致，称为自联想记忆，否则，称为异联想记忆。

 

Hopfield

网络结构上，Hopfield神经网络是一种单层互相全连接的反馈型神经网络。每个神经元既是输入也是输出，网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。即：网络中的神经元在t时刻的输出状态实际上间接地与自己t-1时刻的输出状态有关。神经元之间互连接，所以得到的权重矩阵将是对称矩阵。

 

 

假设有n个单元组成的Hopfield神经网络，第i个单元在t时刻的输入记作ui(t)，输出记作xi(t)，连接权重为wij，阈值为bi(t)，则t+1时刻i单元的输出xi(t+1)可表示为：

 

在Hopfield神经网络中，每个时刻都只有一个随机选择的单元会发生状态变化。由于神经元随机更新，所以称此模型为离散随机型。

对于一个由n个单元组成的网络，如果要完成全部单元的状态变化，至少需要n个时刻。

根据输入模式联想输出模式时，需要事先确定连接权重wij，而连接权重wij要对输入模式的训练样本进行训练后才能确定。

和多层神经网络一样，一次训练并不能确定连接权重，而是要不断重复这个过程，直到满足终止判断条件，而这个指标就是Hopfield神经网络的能量函数E。

当输入模式与输出模式一致时，能量函数E的结果是0。

 

根据前面定义的状态变化规则改变网络状态时，上式中定义的能量函数E总是非递增的，即随时间的不断增加而逐渐减小，直到网络达到稳定状态为止。

 

Hopfield网络的优点

单元之间的连接权重对称 (wij = wji)

每个单元没有到自身的连接 (wii = 0)

单元的状态采用随机异步更新方式，每次只有一个单元改变状态

n个二值单元做成的二值神经网络，每个单元的输出只能是0或1的两个值

 

问题

当需要记忆的模式之间较为相似，或者需要记忆的模式太多时，Hopfield神经网络就不能正确地辨别模式。这种相互干扰、不能准确记忆的情况成为串扰(crosstalk)。

 

Hopfield神经网络能够记忆的模式数量有限，大约是网络单元数的15%左右，为了防止串扰，可以采用先把模式做正交化再进行记忆等方法。

但是正交化方法并不能完全解决问题，玻尔兹曼机可以解决这一问题。